概念

3秒看懂

資料配方是系統化定義、處理、組織和混合多源訓練資料的工程方法論，決定了大型模型能力上限與行為特質。它回答了用什麼資料、以何種比例混合、按什麼順序訓練的核心問題，是與模型架構、算力規模並列的大型模型三大支柱之一。

3分鐘產業解釋

在大型模型”暴力美學”的算力競賽背後，一場更為精細的”資料鍊金術”革命正在發生。資料配方的價值堪比半導體行業的EDA工具和工藝製程——它不是單一軟體或資料集，而是一套貫穿資料全生命週期的系統工程體系。

核心工序鏈：

1. 原材料甄選：從全球網際網路文本、學術書籍、程式碼倉庫、多模態對齊資料中，篩選高質量、高資訊密度、低偏見的資料來源。
2. 加工與提純：執行去重、清洗、脫敏、質量評分、毒性過濾、領域分類等流水線作業，將PB級原始資料精煉為結構化訓練語料。
3. 配比與排程：確定不同領域（程式碼、數學、文學、對話、多語言）資料的混合比例，並設計課程學習策略，讓模型由易到難、由通用到專精地學習。
4. 閉環迭代：基於模型在下游評測中的反饋，動態校準配方引數，形成”資料飛輪”效應。

產業現狀：資料配方的優劣，直接導致同參數量級模型在推論、數學、程式碼能力上的顯著差異。它已成為頭部AI實驗室的核心技術機密，其方法論細節極少公開揭露，但其產出——高質量訓練資料集——正在催生獨立的產業環節（如合成數據生成、資料質量管理平台）。

技術原理

資料配方的技術實現，是一條高度自動化、多層決策的資料處理與排程流水線。以下為核心架構與決策節點：

graph TD
    A[原始資料湖] --> B[資料接入層];
    B --> C[初步過濾
格式/語言/長度];
    C --> D[核心處理流水線];

    subgraph D [核心處理流水線]
        D1[質量評估
規則+模型混合打分] --> D2[模糊/精確去重];
        D2 --> D3[安全與合規
PII脫敏/毒性過濾];
        D3 --> D4[領域分類
程式碼/數學/對話等];
        D4 --> D5[資料增強
合成/回譯/擾動];
    end

    D5 --> E{配方決策引擎};
    E --> F[領域混合比例設定];
    E --> G[課程學習排程];
    E --> H[取樣策略配置];

    F & G & H --> I[建置最終訓練資料集];
    I --> J[模型訓練];
    J --> K[多維度評估];
    K -- 反饋訊號 --> E;

核心決策點解析：

• 質量評分：結合規則（重複率、文本困惑度、格式完整性）與輕量級模型（如fastText分類器、小規模語言模型打分）進行多維評分。評分閾值是平衡資料質量與多樣性的關鍵槓桿，閾值過高會導致資料同質化。
• 去重策略：對訓練語料執行精確去重（文件級雜湊匹配）與模糊去重（MinHash/LSH演算法），行業經驗顯示，經過充分去重的資料可將模型訓練效率提升20%-40%，並顯著降低記憶化風險。
• 配比策略：頂級實驗室的資料配方通常包含數百至上千個數據子集，配比決策需通過大量小規模消融實驗確定，閉源模型的最終配比引數從未公開揭露，屬於核心商業秘密。
• 課程學習：將訓練資料按難度（文本複雜度、專業程度、推論深度）排序，在訓練的不同階段動態調整取樣權重，使模型先建立通用語言能力，再逐步注入專業知識。

關鍵引數

資料配方涉及的核心引數，是衡量資料處理深度與精度的標尺。以下基於公開論文與行業實踐進行定性梳理：

資料規模與構成

• 預訓練總Token量：當前頭部基礎模型（如Llama 3、Qwen 2.5）的預訓練資料量已進入15萬億Token量級（來源：Meta Llama 3技術報告，2024年；阿里Qwen技術報告，2024年）。主要構成包括：網際網路網頁文本（佔比約60%-75%）、程式碼（約10%-20%）、學術論文與書籍（約5%-10%）、多語言語料（約5%-10%）以及少量合成數據。
• 微調資料規模：指令微調階段使用的高質量指令對，通常在百萬到千萬級別。例如，Meta於2024年揭露，其Llama 3的監督微調資料包含超過1000萬條人工標註與篩選的指令樣本（來源：Meta Research Blog，2024年）。

質量與去重

• 去重率：基於公開研究（如C4、The Pile資料集的建置文件），對網際網路原始爬蟲資料進行文件級去重時，去重比例通常在**30%-70%**之間，取決於原始資料來源的冗餘程度。去重過少會導致模型記憶化風險，過度去重則可能損害資料多樣性。
• 質量評分閾值：每條資料樣本經過多維質量評分後，低於閾值的樣本將被剔除。該閾值的具體數值從未被頂級實驗室公開，通常需結合下游任務效果進行網格搜尋尋找最優解。

配方配比

• 程式碼資料比例：程式碼資料被廣泛認為能顯著提升模型的邏輯推論與思維鏈能力。行業內基於部分公開研究的估算，頭部通用模型中程式碼資料的佔比大致在**10%-25%**之間。例如，DeepSeek於2024年12月釋出的技術報告中透露，其DeepSeek-V3模型在預訓練階段提高了數學與程式碼資料的取樣比例（具體比例未揭露）。
• 多語言分佈：除英語外，其他語種的資料佔比因模型定位而異。中文社群的主流大型模型（如Qwen系列）已將中英文混合比例最佳化至接近均衡水平（來源：Qwen技術報告，2024年），但精確配比同樣未公開揭露。

處理效率

• 單PB資料處理成本：資料去重、質量評估、安全過濾等工序的算力消耗約佔模型訓練總算力的1%-5%（基於分散式計算領域的估算，來源：公開研討會報告）。具體數值受工具鏈效率、叢集規模和資料複雜度影響。“公開資料未見”標準化的行業基準數字。

技術路線

不同目標導向的大型模型，其資料配方策略存在根本性差異。以下為當前產業的三種主流技術路線對比：

維度	通用基礎大型模型路線	行業垂直大型模型路線	對齊與價值注入路線
代表例項	Llama 3, Qwen 2.5, DeepSeek-V3	BloombergGPT, Med-PaLM	ChatGPT, Claude, Gemini
資料核心	網際網路多語言文本 + 程式碼+ 書籍/論文 + 合成數據	專業語料（病歷/財報/法律文書）+ 通用語料 + 標註資料	高質量指令對 + 人類偏好對比資料 + 紅隊測試資料
配方重點	規模、多樣性、去偏。建置”世界知識”的無偏混合體	專業性、準確性、合規性。犧牲泛化通用能力以換取領域深度	安全性、無害性、價值觀對齊。塑造模型的互動風格與社會規範
關鍵挑戰	處理海量噪聲資料，精準過濾有毒/有害內容	高質量專業資料稀缺、獲取成本高；隱私與合規要求嚴苛	人類標註成本極高（單條複雜指令對標註成本可達數十美元）
技術壁壘	超大規模資料處理的工程化能力與海量算力的結合	領域專業知識與AI資料處理流程的深度耦合能力	持續獲取高質量人類反饋資料的能力與RLHF演算法的最佳化

前沿技術方向：

1. 合成數據配方：利用強模型生成高質量、可控的訓練資料，以增強特定能力（如數學推論、多語言翻譯）。該方法可部分緩解高質量資料枯竭問題，但需有效防範”模型自噬”導致的多樣性坍縮。
2. 多模態對齊配方：為視覺-語言模型設計圖文對的配對、對齊與分詞策略。其配方需要協同處理文本序列與視覺Token，涉及影像解析度取樣、圖文交疊率等額外引數，複雜性遠超純文本配方。
3. 資料影響力評估：通過梯度追蹤或代理模型等技術，量化單條資料樣本對模型最終能力的貢獻度，從而實現配方的動態最佳化與資料集的”剪枝”。該方向仍處於學術前沿探索階段，大規模產業應用“公開資料未見”。

上游

資料配方的上游，是支撐其運作的”原料”與”基礎設施”層。

資料來源

• 公共網際網路語料：全球規模最大的資料來源。主要獲取方式為對Common Crawl（包含數十億網頁的公開資料集，每月更新）進行二次過濾與提純。該來源資料量大但資訊密度低、噪聲高，是資料清洗成本最高的環節。
• 學術出版與書籍：高資訊密度、高質量的知識來源。包括學術論文庫（如arXiv、PubMed）、電子書籍（需與出版商進行授權合作）。此類資料存在版權風險且供給有限。
• 程式碼倉庫：來自GitHub、GitLab等開源平台的公開程式碼，是提升模型邏輯與程式碼能力的核心原料。GitHub擁有數億個公開倉庫，但程式碼質量參差不齊。
• 專業資料庫與企業私有資料：包括金融機構的交易資料、醫療機構的電子病歷、法律合同資料庫等。此類資料價值極高，但獲取受隱私法規（如HIPAA、GDPR）嚴格限制，通常需通過合作或授權方式獲取。
• 政府與公共機構開放資料：各國政府、世界銀行、聯合國等公開的統計報告、法律文書、檔案等，是建置可靠知識體系的重要補充。

基礎工具

• 分散式爬蟲架構：用於定向採集公開網路資料的工具（如Apache Nutch）。
• 資料儲存與計算基礎設施：PB級物件儲存（AWS S3、阿里雲端OSS）、分散式計算架構（Spark、Ray），是執行大規模資料處理任務的硬體基礎。

下游

資料配方的下游是直接消費其產出，並通過反饋形成閉環的環節。

大型模型研發機構

• 基礎模型廠商：OpenAI、Google DeepMind、Anthropic、Meta、Mistral AI，以及中國的百度、阿里巴巴、字節跳動、深度求索等。它們擁有自研的完整資料配方體系，並將其視為與模型架構、訓練策略並列的核心競爭力。配方引數不對外出售或揭露。
• 開源模型社群：以Hugging Face、EleutherAI為代表。它們通過開源協作，建置瞭如The Pile、RedPajama、Dolma等公開資料集和技術報告，降低了大型模型的資料門檻，並推動了資料配方的學術討論。

模型評估體系

• 基準測試平台：如MMLU（大規模多工語言理解）、HumanEval（程式碼生成評測）、MATH（數學推論測評）。模型在這些基準上的表現是檢驗資料配方有效性的黃金標準。
• 紅隊測試：安全團隊對模型進行對抗性攻擊，以發現數據配方導致的安全漏洞（如生成毒性內容、洩露訓練資料隱私資訊），反饋結果用於改進資料安全過濾流水線。

資料資產化應用

• 行業解決方案商：基於基礎模型，使用特定行業的資料配方進行微調，為金融、醫療、法律客戶提供專有模型。它們從基礎模型廠商購買API或開源模型，併疊加自身積累的行業資料配方，形成產品化解決方案。

受益公司

此部分梳理在資料配方產業-鏈中版面配置的核心廠商，按其在價值鏈中的角色進行分類，不構成任何投資建議。

全棧模型廠商（配方內部化）

這些公司的資料配方是其核心競爭力的組成部分，不對外銷售，但直接受益於其配方帶來的模型效能提升。

• OpenAI：其GPT系列模型在資料配方上積累深厚，對高質量資料篩選、多語言比例有深入研究。技術細節未公開揭露。
• Google DeepMind：Gemini系列模型的原生多模態訓練配方是其核心優勢，涉及複雜的資料對齊與混合策略。
• Meta：通過Llama系列模型的技術報告，部分揭露了其資料配方的理念（如強調資料新鮮度、質量過濾），是開源生態中資料配方的領先分享者。
• Anthropic：其”憲法AI”路線對對齊與價值注入階段的資料配方有獨特方法論，強調基於原則（而非純人類反饋）進行資料篩選。
• 阿里巴巴/百度/字節跳動/深度求索：均擁有自研大型模型，資料配方是確保其中文能力與多語言能力的關鍵。

資料基礎設施與工具供應商

• Scale AI：全球最大的AI資料標註與定製化資料解決方案提供商，為企業客戶建置用於微調和對齊的資料配方。2024年完成F輪融資，估值達到138億美元（來源：Bloomberg報道，2024年）。
• Databricks：結合其統一資料分析平台與AI能力，通過收購MosaicML等，為客戶提供資料準備與模型訓練的一體化平台。2024年9月宣佈其年化營收超過24億美元（來源：Databricks官方新聞稿）。
• Hugging Face：其開源資料集庫（datasets）與模型庫是資料配方實踐的公共基礎設施，降低了資料處理的門檻。

擁有專屬資料資產的公司

這些公司因手握高質量、稀缺的資料來源，其資料資產正在AI時代被價值重估。

• RELX (Elsevier)：作為全球最大的學術出版商之一，擁有海量、高資訊密度的學術論文與書籍內容。正在通過與AI公司進行資料授權合作，將內容變現。
• Bloomberg：BloombergGPT的研發（2023年），展示了其通過獨有金融資料語料（源於Bloomberg Terminal的長期積累），建置領域專用大型模型的能力。其金融資料資產規模與質量是技術護城河。
• Shutterstock / Getty Images：提供數十億計的影像、影片及對應後設資料，是視覺-語言多模態大型模型訓練的重要合規資料來源。

市場規模

資料配方本身不是可直接計量的產品，其市場規模需從上下游的工具、服務和資料交易市場進行間接測算。以下資料均為公開渠道的行業估算，非精確財務統計，請投資者注意其口徑與預測性質。

• AI訓練資料集市場：根據Grand View Research於2024年5月釋出的行業報告，全球AI訓練資料集市場規模在2023年約為22.7億美元，預計從2024年到2030年將以**21.7%的複合年增長率(CAGR)**增長。增長驅動力來自對高質量、特定領域AI模型需求的持續增長。
• 資料標註與處理服務市場：Scale AI的同類型市場營收增長迅速。據Grand View Research測算，包含資料標註、清洗、管理的全球資料準備工具與服務市場，在2024年約為92億美元，預計到2030年將超過300億美元。
• 合成數據生成市場：MarketsandMarkets於2024年1月釋出的報告指出，全球合成數據生成市場規模在2024年約為6.3億美元，預計到2029年將增長至23.4億美元，CAGR高達30%。主要動力來自隱私法規和高質量真實資料的稀缺。
• 人才市場隱含價值：AI資料工程師與研究員（負責資料配方設計與實現）的薪酬水平，在矽谷頭部AI實驗室已達到年薪30萬至60萬美元甚至更高（來源：公開招聘資訊與行業媒體如The Information的報道），反映了資料配方人才的稀缺性和高附加值。

玩家對比

以下為資料配方價值鏈上不同型別參與者的能力矩陣對比，旨在揭示其差異化定位：

玩家型別	代表廠商	核心資產	配方開放度	盈利模式
閉源模型巨頭	OpenAI, Anthropic	獨家配方、海量使用者反饋飛輪	完全封閉	模型API訂閱、企業授權
開源模型先鋒	Meta (Llama), 深度求索	高質量開源模型、社群生態	部分公開（方法論文）	建置生態、雲端服務繫結
雲端平台廠商	AWS, 微軟Azure, 阿里雲端	算力+平台+資料服務整合	提供工具鏈	雲端資源、工具與服務費
獨立資料平台	Scale AI, Databricks	資料工程能力、中立性	工具開放	專案制服務、SaaS訂閱
資料資產持有者	RELX, Bloomberg	獨家、高價值的原始資料	授權許可	資料授權、合作開發費

關鍵競爭要素：在閉源模型巨頭間，資料配方是決定性差異化的來源。在開源生態中，資料配方的透明度是吸引開發者和雲端運算客戶的關鍵手段。獨立資料平台的核心信用來自其中立性與處理效率，不能與任何單一模型廠商繫結。

風險

資料配方的發展面臨技術與非技術多重風險：

技術與質量風險

• 高質量資料枯竭：根據一項廣泛引用的學術研究（Epoch AI, 2023年），高質量公開文本資料（如書籍、高質量網頁）可能在2026年前後被消耗殆盡。這將迫使行業更依賴於合成數據，而合成數據存在”模型自噬”和多樣性坍縮的風險。
• 配方固化的隱患：過於依賴一套成功的靜態資料配方，可能導致模型能力停滯在特定水平上，無法適應新知識、新任務，形成長期的技術債務。
• 評測集汙染：訓練資料配方可能無意中或惡意地包含了下游評測基準的樣本，導致評估分數虛高，掩蓋了模型的真實能力缺陷。

法律與合規風險

• 版權爭議：使用受版權保護的書籍、新聞文章進行AI訓練，正在全球範圍內引發多起訴訟（如《紐約時報》訴OpenAI和微軟，2023年12月提起）。這是資料配方領域當前面臨的最大法律不確定性。
• 隱私洩露：資料配方中的PII（個人身份資訊）過濾不徹底，可能導致模型記憶並洩露訓練資料中的個人隱私（如姓名、地址、電話號碼），違反GDPR等隱私法律。

社會與倫理風險

• 偏見固化與放大：資料配方中不同群體、文化和觀點的代表性失衡，將直接導致模型產生系統性偏見，在社會應用中造成歧視性後果。
• 價值對齊失敗：在價值注入階段的資料配方設計失當，可能導致模型習得有害的價值觀，或產生政治傾向、虛假資訊輸出等重大安全事故。

誤讀糾偏

• 誤讀一：資料配方就是收集更多資料。
  • 糾偏：資料配方的核心是 “精煉”而非”堆砌” 。在資料量超過某個閾值後，質量與配比的重要性遠大於絕對數量。Chinchilla定律（DeepMind，2022年）揭示了在給定算力下，模型引數與訓練Token量的最優配比，但它並未否認高質量資料的槓桿效應。一個精妙的10萬億Token配方，可能擊敗一個粗糙的20萬億Token配方。
• 誤讀二：資料配方是可公開的標準流水線。
  • 糾偏：頂級實驗室的資料配方是其核心智慧財產權，保護程度堪比半導體工藝。公開論文中描述的方法（如去重、質量過濾）只是通用的基礎工序，真正的技術”秘方”在於數以千計的子集的具體配比、動態調整的課程學習策略以及基於反饋訊號的精密微調。這些細節從未被完全公開。
• 誤讀三：合成數據將完全取代真實資料。
  • 糾偏：合成數據目前主要用於增強特定能力（如數學、程式碼）或擴充低資源場景。它面臨嚴重的”模型坍縮”風險——在模型自身生成的資料上進行迭代訓練，會導致輸出的多樣性、準確性逐漸喪失。高質量真實資料仍是知識的最終”錨點”，合成數據是重要的補充與增強手段，絕非替代品。
• 誤讀四：資料配方只在預訓練階段重要。
  • 糾偏：是貫穿整個模型生命週期的工程。預訓練階段決定了模型的知識基礎；指令微調階段決定了模型的指令遵循能力；RLHF/DPO對齊階段的資料配方決定了模型的安全性、有用性與價值觀。各階段的配方策略既有連貫性，又有根本差異。

最新事件

• 2025年1月：深度求索（DeepSeek）釋出DeepSeek-R1模型，其在技術報告中重點闡述了面向推論能力的強化學習資料配方，展示了通過精心設計思維鏈（Chain-of-Thought）訓練資料來激發模型推論能力的新範式。該成果引發全球AI社群對資料配方新方向的廣泛討論。
• 2024年12月：開源大型模型社群推出FineWeb-2資料集，覆蓋多個語種的高質量網頁文本。其建置過程中的精細過濾和配方設計，代表了資料配方的民主化趨勢，使更多研究機構能復現高質量資料配方的效果。
• 2024年7月：Meta釋出Llama 3.1（405B引數）模型，其更新的技術報告進一步強調了合成數據在預訓練和指令微調中的作用，標誌著利用強模型生成訓練資料的概念，已從學術討論進入頂級實驗室的核心實踐。
• 版權訴訟進展：截至2025年初，多起由內容創作者和出版機構發起的，關於AI訓練資料版權的訴訟仍在審理中。司法判決的走向將深刻影響未來資料配方中合規資料的獲取成本與方式，行業處於高度關注狀態。
• 歐盟《人工智慧法案》正式生效：2024年8月，歐盟《人工智慧法案》正式生效。該法案對通用大型模型施加了嚴格的資料透明度義務，要求模型提供者公開一份足夠詳細的訓練資料使用摘要。此舉首次在法律層面直接觸及資料配方的合規性，可能重塑全球的產業執行規則。

追蹤指標

投資者與研究者可追蹤以下先行指標，以判斷資料配方相關產業趨勢的變化：

• 模型效能邊際增益：關注同一模型家族在不同版本間，由於資料配方改進帶來的效能提升幅度（如MMLU分數、HumanEval通過率的同期對比）。這是衡量資料配方價值的後驗指標，但最具說服力。
• 高質量資料來源的價格訊號：監測出版商（如學術出版集團）、資料平台（如Reddit）與AI公司達成的資料授權合作條款。條款價值（通常為每年數百萬到數千萬美元）的上漲，是高質量資料稀缺性加劇的直接反映。
• 合成數據論文在頂會的佔比：追蹤NeurIPS、ICML、ICLR等頂級會議中，關於”資料合成”、“資料選擇”、“資料中心AI”主題的論文接收數量。該佔比的持續走高，表明學術界和產業界的技術重心正在向此傾斜。
• 資料工程師招聘需求：監測LinkedIn、Indeed等招聘平台上，AI資料工程師、資料策略師、合成數據研究員等關鍵崗位的數量和薪資變化。這直接反映了產業界對資料配方人才的投入強度。
• 版權訴訟的最終司法判決：持續關注AI訓練資料版權相關訴訟的司法判例（尤其是美國、歐盟和英國）。任何最終判決都可能成為產業的分水嶺，徹底改變資料配方的原料獲取模式。

信源

以下是本頁面關鍵事實、資料與判斷所引用的公開資訊來源，供深度研究使用。所有資訊來源均公開可查，口徑已儘可能標註。

1. Touvron, H., et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. Meta AI. (揭露了Llama 2的資料處理與配比理念)
2. Meta AI. (2024). The Llama 3 Herd of Models. Meta AI Research. (詳細介紹了Llama 3在資料規模、質量過濾、合成數據使用上的策略)
3. DeepSeek-AI. (2024). DeepSeek-V3 Technical Report. (提供了關於程式碼與數學資料取樣比例的最新實踐)
4. DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. (揭示了面向推論的資料配方新範式)
5. Hoffmann, J., et al. (2022). Training Compute-Optimal Large Language Models. (Chinchilla論文, DeepMind. 提出了算力-引數-資料量的平衡定律)
6. Gao, L., et al. (2021). The Pile: An 800GB Dataset of Diverse Text for Language Modeling. EleutherAI. (早期大規模多樣化資料集的配方例項)
7. Penedo, G., et al. (2024). FineWeb Technical Report. Hugging Face. (展示了高質量網際網路資料過濾的最新技術)
8. Grand View Research. (2024). AI Training Dataset Market Size, Share & Trends Analysis Report. (提供了全球AI訓練資料集市場的估算規模與預測)
9. MarketsandMarkets. (2024). Synthetic Data Generation Market by Offering, Data Type, Modeling, Application, End User and Region - Global Forecast to 2029. (提供了全球合成數據市場的估算規模與預測)
10. Villalobos, P., et al. (2023). Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning. Epoch AI. (提供了高質量公開資料可能耗盡的學術分析)
11. 歐盟. (2024/1689). 《人工智慧法案》. (對通用大型模型訓練資料透明度的法律要求)
12. 行業媒體：The Information、Bloomberg的AI專題報道，用於交叉驗證融資估值和商業動態事件。

免責宣告：本頁面內容僅為對”資料配方”概念的產業與知識梳理，不構成任何投資建議、買賣指導或模型推薦。引用的所有市場資料均來自第三方研究機構的估算，可能因統計口徑、計量方法不同而存在偏差。