训练数据决定模型上限：多语言与领域数据详解数据分布、低资源语言挑战、领域数据质量，一文掌握数据与模型的关系。本节基于《AI工程》第2章「Understanding Foundation Models」— Training Data：Multilingual Models、Domain-Specific Models。一、为什么说「数据决定上限」？Chip Huyen 在《AI工程》第2章开篇即强调：训练数据是理解基础模型的关键维度之一。模型架构可以复制，但训练数据的质量、分布、规模难以复制。同一架构在不同数据上训练，表现可能天差地别。理解数据与模型的关系，是选型、微调、评估的基础。书中将训练数据分为两大类：多语言模型（Multilingual Models）与特定领域模型（Domain-Specific Models）。前者关注数据分布、低资源语言挑战与平衡策略；后者关注领域数据的重要性、数据质量与偏见问题。本节依此展开。二、多语言模型的挑战（Multilingual Models）2.1 数据分布不均《AI工程》指出，典型预训练语料存在严重的语言分布不均。英语通常占主导，中文、欧洲主要语言次之，低资源语言（如小语种、方言）数据稀缺。这直接导致模型在不同语言上的能力差异。60%15%15%10%典型预训练语料语言分布（示意，基于《AI工程》）英语中文其他高资源语言低资源语言语言类型数据量模型表现高资源（英、中）充足较好中资源中等不稳定低资源稀缺易弱、偏见