概念

3秒看懂

数据配方是系统化定义、处理、组织和混合多源训练数据的工程方法论，决定了大模型能力上限与行为特质。它回答了用什么数据、以何种比例混合、按什么顺序训练的核心问题，是与模型架构、算力规模并列的大模型三大支柱之一。

3分钟产业解释

在大模型”暴力美学”的算力竞赛背后，一场更为精细的”数据炼金术”革命正在发生。数据配方的价值堪比半导体行业的EDA工具和工艺制程——它不是单一软件或数据集，而是一套贯穿数据全生命周期的系统工程体系。

核心工序链：

1. 原材料甄选：从全球互联网文本、学术书籍、代码仓库、多模态对齐数据中，筛选高质量、高信息密度、低偏见的数据源。
2. 加工与提纯：执行去重、清洗、脱敏、质量评分、毒性过滤、领域分类等流水线作业，将PB级原始数据精炼为结构化训练语料。
3. 配比与调度：确定不同领域（代码、数学、文学、对话、多语言）数据的混合比例，并设计课程学习策略，让模型由易到难、由通用到专精地学习。
4. 闭环迭代：基于模型在下游评测中的反馈，动态校准配方参数，形成”数据飞轮”效应。

产业现状：数据配方的优劣，直接导致同参数量级模型在推理、数学、代码能力上的显著差异。它已成为头部AI实验室的核心技术机密，其方法论细节极少公开披露，但其产出——高质量训练数据集——正在催生独立的产业环节（如合成数据生成、数据质量管理平台）。

技术原理

数据配方的技术实现，是一条高度自动化、多层决策的数据处理与调度流水线。以下为核心架构与决策节点：

graph TD
    A[原始数据湖] --> B[数据接入层];
    B --> C[初步过滤
格式/语言/长度];
    C --> D[核心处理流水线];

    subgraph D [核心处理流水线]
        D1[质量评估
规则+模型混合打分] --> D2[模糊/精确去重];
        D2 --> D3[安全与合规
PII脱敏/毒性过滤];
        D3 --> D4[领域分类
代码/数学/对话等];
        D4 --> D5[数据增强
合成/回译/扰动];
    end

    D5 --> E{配方决策引擎};
    E --> F[领域混合比例设定];
    E --> G[课程学习调度];
    E --> H[采样策略配置];

    F & G & H --> I[构建最终训练数据集];
    I --> J[模型训练];
    J --> K[多维度评估];
    K -- 反馈信号 --> E;

核心决策点解析：

• 质量评分：结合规则（重复率、文本困惑度、格式完整性）与轻量级模型（如fastText分类器、小规模语言模型打分）进行多维评分。评分阈值是平衡数据质量与多样性的关键杠杆，阈值过高会导致数据同质化。
• 去重策略：对训练语料执行精确去重（文档级哈希匹配）与模糊去重（MinHash/LSH算法），行业经验显示，经过充分去重的数据可将模型训练效率提升20%-40%，并显著降低记忆化风险。
• 配比策略：顶级实验室的数据配方通常包含数百至上千个数据子集，配比决策需通过大量小规模消融实验确定，闭源模型的最终配比参数从未公开披露，属于核心商业秘密。
• 课程学习：将训练数据按难度（文本复杂度、专业程度、推理深度）排序，在训练的不同阶段动态调整采样权重，使模型先建立通用语言能力，再逐步注入专业知识。

关键参数

数据配方涉及的核心参数，是衡量数据处理深度与精度的标尺。以下基于公开论文与行业实践进行定性梳理：

数据规模与构成

• 预训练总Token量：当前头部基础模型（如Llama 3、Qwen 2.5）的预训练数据量已进入15万亿Token量级（来源：Meta Llama 3技术报告，2024年；阿里Qwen技术报告，2024年）。主要构成包括：互联网网页文本（占比约60%-75%）、代码（约10%-20%）、学术论文与书籍（约5%-10%）、多语言语料（约5%-10%）以及少量合成数据。
• 微调数据规模：指令微调阶段使用的高质量指令对，通常在百万到千万级别。例如，Meta于2024年披露，其Llama 3的监督微调数据包含超过1000万条人工标注与筛选的指令样本（来源：Meta Research Blog，2024年）。

质量与去重

• 去重率：基于公开研究（如C4、The Pile数据集的构建文档），对互联网原始爬虫数据进行文档级去重时，去重比例通常在**30%-70%**之间，取决于原始数据源的冗余程度。去重过少会导致模型记忆化风险，过度去重则可能损害数据多样性。
• 质量评分阈值：每条数据样本经过多维质量评分后，低于阈值的样本将被剔除。该阈值的具体数值从未被顶级实验室公开，通常需结合下游任务效果进行网格搜索寻找最优解。

配方配比

• 代码数据比例：代码数据被广泛认为能显著提升模型的逻辑推理与思维链能力。行业内基于部分公开研究的估算，头部通用模型中代码数据的占比大致在**10%-25%**之间。例如，DeepSeek于2024年12月发布的技术报告中透露，其DeepSeek-V3模型在预训练阶段提高了数学与代码数据的采样比例（具体比例未披露）。
• 多语言分布：除英语外，其他语种的数据占比因模型定位而异。中文社区的主流大模型（如Qwen系列）已将中英文混合比例优化至接近均衡水平（来源：Qwen技术报告，2024年），但精确配比同样未公开披露。

处理效率

• 单PB数据处理成本：数据去重、质量评估、安全过滤等工序的算力消耗约占模型训练总算力的1%-5%（基于分布式计算领域的估算，来源：公开研讨会报告）。具体数值受工具链效率、集群规模和数据复杂度影响。“公开资料未见”标准化的行业基准数字。

技术路线

不同目标导向的大模型，其数据配方策略存在根本性差异。以下为当前产业的三种主流技术路线对比：

前沿技术方向：

1. 合成数据配方：利用强模型生成高质量、可控的训练数据，以增强特定能力（如数学推理、多语言翻译）。该方法可部分缓解高质量数据枯竭问题，但需有效防范”模型自噬”导致的多样性坍缩。
2. 多模态对齐配方：为视觉-语言模型设计图文对的配对、对齐与分词策略。其配方需要协同处理文本序列与视觉Token，涉及图像分辨率采样、图文交叠率等额外参数，复杂性远超纯文本配方。
3. 数据影响力评估：通过梯度追踪或代理模型等技术，量化单条数据样本对模型最终能力的贡献度，从而实现配方的动态优化与数据集的”剪枝”。该方向仍处于学术前沿探索阶段，大规模产业应用“公开资料未见”。

上游

数据配方的上游，是支撑其运作的”原料”与”基础设施”层。

数据源

• 公共互联网语料：全球规模最大的数据来源。主要获取方式为对Common Crawl（包含数十亿网页的公开数据集，每月更新）进行二次过滤与提纯。该来源数据量大但信息密度低、噪声高，是数据清洗成本最高的环节。
• 学术出版与书籍：高信息密度、高质量的知识来源。包括学术论文库（如arXiv、PubMed）、电子书籍（需与出版商进行授权合作）。此类数据存在版权风险且供给有限。
• 代码仓库：来自GitHub、GitLab等开源平台的公开代码，是提升模型逻辑与代码能力的核心原料。GitHub拥有数亿个公开仓库，但代码质量参差不齐。
• 专业数据库与企业私有数据：包括金融机构的交易数据、医疗机构的电子病历、法律合同数据库等。此类数据价值极高，但获取受隐私法规（如HIPAA、GDPR）严格限制，通常需通过合作或授权方式获取。
• 政府与公共机构开放数据：各国政府、世界银行、联合国等公开的统计报告、法律文书、档案等，是构建可靠知识体系的重要补充。

基础工具

• 分布式爬虫框架：用于定向采集公开网络数据的工具（如Apache Nutch）。
• 数据存储与计算基础设施：PB级对象存储（AWS S3、阿里云OSS）、分布式计算框架（Spark、Ray），是执行大规模数据处理任务的硬件基础。

下游

数据配方的下游是直接消费其产出，并通过反馈形成闭环的环节。

大模型研发机构

• 基础模型厂商：OpenAI、Google DeepMind、Anthropic、Meta、Mistral AI，以及中国的百度、阿里巴巴、字节跳动、深度求索等。它们拥有自研的完整数据配方体系，并将其视为与模型架构、训练策略并列的核心竞争力。配方参数不对外出售或披露。
• 开源模型社区：以Hugging Face、EleutherAI为代表。它们通过开源协作，构建了如The Pile、RedPajama、Dolma等公开数据集和技术报告，降低了大模型的数据门槛，并推动了数据配方的学术讨论。

模型评估体系

• 基准测试平台：如MMLU（大规模多任务语言理解）、HumanEval（代码生成评测）、MATH（数学推理测评）。模型在这些基准上的表现是检验数据配方有效性的黄金标准。
• 红队测试：安全团队对模型进行对抗性攻击，以发现数据配方导致的安全漏洞（如生成毒性内容、泄露训练数据隐私信息），反馈结果用于改进数据安全过滤流水线。

数据资产化应用

• 行业解决方案商：基于基础模型，使用特定行业的数据配方进行微调，为金融、医疗、法律客户提供专有模型。它们从基础模型厂商购买API或开源模型，并叠加自身积累的行业数据配方，形成产品化解决方案。

受益公司

此部分梳理在数据配方产业-链中布局的核心厂商，按其在价值链中的角色进行分类，不构成任何投资建议。

全栈模型厂商（配方内部化）

这些公司的数据配方是其核心竞争力的组成部分，不对外销售，但直接受益于其配方带来的模型性能提升。

• OpenAI：其GPT系列模型在数据配方上积累深厚，对高质量数据筛选、多语言比例有深入研究。技术细节未公开披露。
• Google DeepMind：Gemini系列模型的原生多模态训练配方是其核心优势，涉及复杂的数据对齐与混合策略。
• Meta：通过Llama系列模型的技术报告，部分披露了其数据配方的理念（如强调数据新鲜度、质量过滤），是开源生态中数据配方的领先分享者。
• Anthropic：其”宪法AI”路线对对齐与价值注入阶段的数据配方有独特方法论，强调基于原则（而非纯人类反馈）进行数据筛选。
• 阿里巴巴/百度/字节跳动/深度求索：均拥有自研大模型，数据配方是确保其中文能力与多语言能力的关键。

数据基础设施与工具供应商

• Scale AI：全球最大的AI数据标注与定制化数据解决方案提供商，为企业客户构建用于微调和对齐的数据配方。2024年完成F轮融资，估值达到138亿美元（来源：Bloomberg报道，2024年）。
• Databricks：结合其统一数据分析平台与AI能力，通过收购MosaicML等，为客户提供数据准备与模型训练的一体化平台。2024年9月宣布其年化收入超过24亿美元（来源：Databricks官方新闻稿）。
• Hugging Face：其开源数据集库（datasets）与模型库是数据配方实践的公共基础设施，降低了数据处理的门槛。

拥有专属数据资产的公司

这些公司因手握高质量、稀缺的数据源，其数据资产正在AI时代被价值重估。

• RELX (Elsevier)：作为全球最大的学术出版商之一，拥有海量、高信息密度的学术论文与书籍内容。正在通过与AI公司进行数据授权合作，将内容变现。
• Bloomberg：BloombergGPT的研发（2023年），展示了其通过独有金融数据语料（源于Bloomberg Terminal的长期积累），构建领域专用大模型的能力。其金融数据资产规模与质量是技术护城河。
• Shutterstock / Getty Images：提供数十亿计的图像、视频及对应元数据，是视觉-语言多模态大模型训练的重要合规数据源。

市场规模

数据配方本身不是可直接计量的产品，其市场规模需从上下游的工具、服务和数据交易市场进行间接测算。以下数据均为公开渠道的行业估算，非精确财务统计，请投资者注意其口径与预测性质。

• AI训练数据集市场：根据Grand View Research于2024年5月发布的行业报告，全球AI训练数据集市场规模在2023年约为22.7亿美元，预计从2024年到2030年将以**21.7%的复合年增长率(CAGR)**增长。增长驱动力来自对高质量、特定领域AI模型需求的持续增长。
• 数据标注与处理服务市场：Scale AI的同类型市场收入增长迅速。据Grand View Research测算，包含数据标注、清洗、管理的全球数据准备工具与服务市场，在2024年约为92亿美元，预计到2030年将超过300亿美元。
• 合成数据生成市场：MarketsandMarkets于2024年1月发布的报告指出，全球合成数据生成市场规模在2024年约为6.3亿美元，预计到2029年将增长至23.4亿美元，CAGR高达30%。主要动力来自隐私法规和高质量真实数据的稀缺。
• 人才市场隐含价值：AI数据工程师与研究员（负责数据配方设计与实现）的薪酬水平，在硅谷头部AI实验室已达到年薪30万至60万美元甚至更高（来源：公开招聘信息与行业媒体如The Information的报道），反映了数据配方人才的稀缺性和高附加值。

玩家对比

以下为数据配方价值链上不同类型参与者的能力矩阵对比，旨在揭示其差异化定位：

关键竞争要素：在闭源模型巨头间，数据配方是决定性差异化的来源。在开源生态中，数据配方的透明度是吸引开发者和云计算客户的关键手段。独立数据平台的核心信用来自其中立性与处理效率，不能与任何单一模型厂商绑定。

风险

数据配方的发展面临技术与非技术多重风险：

技术与质量风险

• 高质量数据枯竭：根据一项广泛引用的学术研究（Epoch AI, 2023年），高质量公开文本数据（如书籍、高质量网页）可能在2026年前后被消耗殆尽。这将迫使行业更依赖于合成数据，而合成数据存在”模型自噬”和多样性坍缩的风险。
• 配方固化的隐患：过于依赖一套成功的静态数据配方，可能导致模型能力停滞在特定水平上，无法适应新知识、新任务，形成长期的技术债务。
• 评测集污染：训练数据配方可能无意中或恶意地包含了下游评测基准的样本，导致评估分数虚高，掩盖了模型的真实能力缺陷。

法律与合规风险

• 版权争议：使用受版权保护的书籍、新闻文章进行AI训练，正在全球范围内引发多起诉讼（如《纽约时报》诉OpenAI和微软，2023年12月提起）。这是数据配方领域当前面临的最大法律不确定性。
• 隐私泄露：数据配方中的PII（个人身份信息）过滤不彻底，可能导致模型记忆并泄露训练数据中的个人隐私（如姓名、地址、电话号码），违反GDPR等隐私法律。

社会与伦理风险

• 偏见固化与放大：数据配方中不同群体、文化和观点的代表性失衡，将直接导致模型产生系统性偏见，在社会应用中造成歧视性后果。
• 价值对齐失败：在价值注入阶段的数据配方设计失当，可能导致模型习得有害的价值观，或产生政治倾向、虚假信息输出等重大安全事故。

误读纠偏

• 误读一：数据配方就是收集更多数据。
  • 纠偏：数据配方的核心是 “精炼”而非”堆砌” 。在数据量超过某个阈值后，质量与配比的重要性远大于绝对数量。Chinchilla定律（DeepMind，2022年）揭示了在给定算力下，模型参数与训练Token量的最优配比，但它并未否认高质量数据的杠杆效应。一个精妙的10万亿Token配方，可能击败一个粗糙的20万亿Token配方。
• 误读二：数据配方是可公开的标准流水线。
  • 纠偏：顶级实验室的数据配方是其核心知识产权，保护程度堪比半导体工艺。公开论文中描述的方法（如去重、质量过滤）只是通用的基础工序，真正的技术”秘方”在于数以千计的子集的具体配比、动态调整的课程学习策略以及基于反馈信号的精密微调。这些细节从未被完全公开。
• 误读三：合成数据将完全取代真实数据。
  • 纠偏：合成数据目前主要用于增强特定能力（如数学、代码）或扩充低资源场景。它面临严重的”模型坍缩”风险——在模型自身生成的数据上进行迭代训练，会导致输出的多样性、准确性逐渐丧失。高质量真实数据仍是知识的最终”锚点”，合成数据是重要的补充与增强手段，绝非替代品。
• 误读四：数据配方只在预训练阶段重要。
  • 纠偏：是贯穿整个模型生命周期的工程。预训练阶段决定了模型的知识基础；指令微调阶段决定了模型的指令遵循能力；RLHF/DPO对齐阶段的数据配方决定了模型的安全性、有用性与价值观。各阶段的配方策略既有连贯性，又有根本差异。

最新事件

• 2025年1月：深度求索（DeepSeek）发布DeepSeek-R1模型，其在技术报告中重点阐述了面向推理能力的强化学习数据配方，展示了通过精心设计思维链（Chain-of-Thought）训练数据来激发模型推理能力的新范式。该成果引发全球AI社区对数据配方新方向的广泛讨论。
• 2024年12月：开源大模型社区推出FineWeb-2数据集，覆盖多个语种的高质量网页文本。其构建过程中的精细过滤和配方设计，代表了数据配方的民主化趋势，使更多研究机构能复现高质量数据配方的效果。
• 2024年7月：Meta发布Llama 3.1（405B参数）模型，其更新的技术报告进一步强调了合成数据在预训练和指令微调中的作用，标志着利用强模型生成训练数据的概念，已从学术讨论进入顶级实验室的核心实践。
• 版权诉讼进展：截至2025年初，多起由内容创作者和出版机构发起的，关于AI训练数据版权的诉讼仍在审理中。司法判决的走向将深刻影响未来数据配方中合规数据的获取成本与方式，行业处于高度关注状态。
• 欧盟《人工智能法案》正式生效：2024年8月，欧盟《人工智能法案》正式生效。该法案对通用大模型施加了严格的数据透明度义务，要求模型提供者公开一份足够详细的训练数据使用摘要。此举首次在法律层面直接触及数据配方的合规性，可能重塑全球的产业运行规则。

跟踪指标

投资者与研究者可跟踪以下先行指标，以判断数据配方相关产业趋势的变化：

• 模型性能边际增益：关注同一模型家族在不同版本间，由于数据配方改进带来的性能提升幅度（如MMLU分数、HumanEval通过率的同期对比）。这是衡量数据配方价值的后验指标，但最具说服力。
• 高质量数据源的价格信号：监测出版商（如学术出版集团）、数据平台（如Reddit）与AI公司达成的数据授权合作条款。条款价值（通常为每年数百万到数千万美元）的上涨，是高质量数据稀缺性加剧的直接反映。
• 合成数据论文在顶会的占比：跟踪NeurIPS、ICML、ICLR等顶级会议中，关于”数据合成”、“数据选择”、“数据中心AI”主题的论文接收数量。该占比的持续走高，表明学术界和产业界的技术重心正在向此倾斜。
• 数据工程师招聘需求：监测LinkedIn、Indeed等招聘平台上，AI数据工程师、数据策略师、合成数据研究员等关键岗位的数量和薪资变化。这直接反映了产业界对数据配方人才的投入强度。
• 版权诉讼的最终司法判决：持续关注AI训练数据版权相关诉讼的司法判例（尤其是美国、欧盟和英国）。任何最终判决都可能成为产业的分水岭，彻底改变数据配方的原料获取模式。

信源

以下是本页面关键事实、数据与判断所引用的公开信息来源，供深度研究使用。所有信息来源均公开可查，口径已尽可能标注。

1. Touvron, H., et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. Meta AI. (披露了Llama 2的数据处理与配比理念)
2. Meta AI. (2024). The Llama 3 Herd of Models. Meta AI Research. (详细介绍了Llama 3在数据规模、质量过滤、合成数据使用上的策略)
3. DeepSeek-AI. (2024). DeepSeek-V3 Technical Report. (提供了关于代码与数学数据采样比例的最新实践)
4. DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. (揭示了面向推理的数据配方新范式)
5. Hoffmann, J., et al. (2022). Training Compute-Optimal Large Language Models. (Chinchilla论文, DeepMind. 提出了算力-参数-数据量的平衡定律)
6. Gao, L., et al. (2021). The Pile: An 800GB Dataset of Diverse Text for Language Modeling. EleutherAI. (早期大规模多样化数据集的配方实例)
7. Penedo, G., et al. (2024). FineWeb Technical Report. Hugging Face. (展示了高质量互联网数据过滤的最新技术)
8. Grand View Research. (2024). AI Training Dataset Market Size, Share & Trends Analysis Report. (提供了全球AI训练数据集市场的估算规模与预测)
9. MarketsandMarkets. (2024). Synthetic Data Generation Market by Offering, Data Type, Modeling, Application, End User and Region - Global Forecast to 2029. (提供了全球合成数据市场的估算规模与预测)
10. Villalobos, P., et al. (2023). Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning. Epoch AI. (提供了高质量公开数据可能耗尽的学术分析)
11. 欧盟. (2024/1689). 《人工智能法案》. (对通用大模型训练数据透明度的法律要求)
12. 行业媒体：The Information、Bloomberg的AI专题报道，用于交叉验证融资估值和商业动态事件。

免责声明：本页面内容仅为对”数据配方”概念的产业与知识梳理，不构成任何投资建议、买卖指导或模型推荐。引用的所有市场数据均来自第三方研究机构的估算，可能因统计口径、计量方法不同而存在偏差。