過訓練

3 秒看懂

過訓練（Overtraining） 是一種大型語言模型訓練策略：用遠超經典計算最優比例的訓練資料，來訓練一個引數規模相對較小的模型，以換取在固定算力下的最優推論效能和部署效率。其本質是用一次性的高額訓練成本，置換大規模、可持續的低成本推論。

3 分鐘產業解釋

過去，業界普遍認為模型引數與訓練資料量應保持平衡，以實現訓練效率最大化（即 Chinchilla 所倡導的“計算最優”）。但隨著大型模型進入大規模部署階段，瓶頸已從訓練成本轉向推論成本。一個 70 億引數的模型，即便訓練開銷更高，其每次推論消耗的算力、延遲和記憶體都遠低於一個 700 億引數的模型。

過訓練的核心邏輯是：在訓練階段投入更多資料和計算，來訓練一個更小的模型，使其最終效能達到或超過按“計算最優”比例訓練的更大型模型。這直接將成本從持續、大規模的“推論側”前移至一次性的“訓練側”，為使用者和廠商提供執行成本更低、響應更快、部署更靈活的產品。

技術原理

機制：從最小化訓練損失到最小化推論損失 傳統 Chinchilla 範式追求在給定訓練算力預算下，最小化驗證集損失：
min L_train(θ, D)，其中 D ≈ 20N（N 為模型引數量，D 為訓練 token 數）。
過訓練範式則將最佳化目標轉向推論端，約束 N 較小（以保證推論 FLOPs 可控），並用遠超比例的資料 D 進行訓練：
min L_inference(θ, D)，受約束於 D >> N。

這種範式轉移背後的技術依據是神經縮放律（Scaling Laws）的進一步細化：對於固定大小的模型，隨資料量增加，測試損失仍會遵循冪律下降（邊際收益遞減）。因此，為小模型喂入更多高質量資料，可以持續壓榨其效能潛力，逼近甚至超越更大但“未充分訓練”的模型。

資料質量成為絕對核心 過訓練意味著模型在超長時間內反覆接觸資料，若資料質量不高或多樣性不足，模型極易過擬合到特定噪聲、重複模式或窄分佈，導致災難性遺忘和泛化能力崩潰。因此，實現成功過訓練的前提是：

• 極致的去重與過濾：去除近似重複、低資訊密度、有害內容。
• 高質量資料配比：平衡程式碼、數學、推論、百科及多語言資料，以維持通用能力。
• 課程學習與動態資料取樣：在不同訓練階段調整資料分佈，引導模型能力逐步湧現。

最佳化器與學習率排程 超長訓練要求更魯棒的最佳化設定。常見做法包括：

• 採用餘弦退火或 WSD（Warmup-Stable-Decay）等學習率排程，延長穩定期並精細控制衰退。
• 使用具有強正則化特性的最佳化器（如 AdamW 結合適當的權重衰減）。
• 在超長訓練中引入“重啟”與“回放”技巧，以緩解表徵崩潰。

關鍵引數

1. 過訓練比（Overtraining Ratio）：D / N。Chinchilla 計算最優比例約為 20。過訓練模型的該比值通常顯著大於 50，公開案例中 Llama 3 8B 在 15T+ tokens 上訓練，比值約為 1875（來源：Meta 官方公開的技術報告，2024年）；Mistral 7B 雖未完整揭露，但業內推測其比值遠高於 20（公開資料未見精確數字）。該比值越高，意味著在訓練側投入越大，模型潛力壓榨越充分。
2. 推論 FLOPs 效率：模型在下游任務上的得分與其單次推論所需 FLOPs 的比值。這是過訓練最佳化的直接效能指標。例如，在 MMLU 等基準上，Llama 3 8B 的推論 FLOPs 效率遠超同等或更大上一代模型（對比基準詳見 Meta 官方部落格，2024年）。
3. 每 Token 推論成本：與模型引數量和硬體利用率直接相關。按 2024 年主流雲端服務商公開定價，7B-8B 量級模型的每百萬 token 推論成本約為 70B 量級模型的 1/8 至 1/10（綜合 AWS Bedrock、Together AI 等平台公開定價估算）。過訓練旨在通過擠壓小模型效能，讓使用者以該低成本獲得接近大型模型的智慧。
4. 效能邊際增益曲線：固定模型大小，效能隨訓練 token 數增長的對數曲線。過訓練的區域處於該曲線邊際收益遞減但仍有顯著提升的階段。評測中通常關注其在第 N% 增量訓練資料上的準確率提升幅度（具體取決於廠商公開的消融實驗，2024年公開資料多見於部分技術報告）。
5. 訓練-推論成本比轉折點：當推論呼叫量達到某個閾值後，過訓練的總擁有成本（TCO）優勢超過 Chinchilla 模型。據估算，若一個模型生命週期內推論呼叫超過訓練的數千倍，過訓練策略即經濟可行（推算基於行業公開粗略成本模型，精確閾值未公開）。

技術路線

當前行業在縮放律應用上已分化為三條清晰的技術路線：

維度	計算最優訓練 (Chinchilla)	過訓練 (Inference-Optimal)	前沿探索 (Frontier Scaling)
核心目標	訓練效率最大化	推論效率與部署成本最小化	探索能力絕對上限
資料/引數比	D ≈ 20N	D >> N（數百至數千倍）	D 極大，N 極大（比值靈活）
典型實現	早期實驗基準（如 Chinchilla 70B）	Llama 3 8B/70B, Mistral 7B, Gemma 2 等	GPT-4, Gemini Ultra, Claude 3.5 等
單次訓練成本	中等（給定預算下最優）	極高（遠超前兩者）	極高（且多為多模態、多階段）
推論成本	高	低	極高
部署場景	研究驗證	大規模線上服務、端側、邊緣	旗艦產品、複雜 Agent、全模態互動
訓練策略	標準預訓練	超長預訓練 + 精細化資料工程	超大規模混合資料、多工、RLHF 等

過訓練路線並非否定 Chinchilla 定律，而是從工程經濟學角度進行補充。值得一提的是，部分前沿模型也可能在後期採用“區域性過訓練”，即在海量資料上持續訓練較長時間，以最佳化推論效率（如 DeepSeek-V3 技術報告中體現的最佳化策略，2024年12月公開，但其是否明確劃分為過訓練存在爭議）。三條路線並非互斥，而是一個連續譜系，同一實驗室可能在不同產品線同時採用。

上游

過訓練對上游基礎設施提出了嚴苛要求，核心環節包括：

1. 超大規模高質量資料集建置

   • 資料來源：公開網頁、圖書、學術論文、程式碼倉庫、多語言語料等。據公開資料，2024 年 Llama 3 使用了超過 15T tokens 的預訓練資料，且經過嚴格去重和清洗；Mistral 和 Google Gemma 也強調資料質量甚於數量（來源：各公司 2024 年技術報告/部落格）。
   • 資料工程工具鏈：去重（MinHash、SimHash）、質量過濾（分類器、困惑度過濾）、PII 去除、毒性過濾。相關工具快速迭代，但精確市場份額未見公開統計。
   • 合成數據：為彌補高質量自然資料枯竭，合成數據生成成為上游關鍵技術。使用更大型模型生成推論鏈、程式碼、數學解答等，再由小模型學習。2024 年以來，如 Meta、Anthropic 等均在其模型改進中使用合成數據，但具體佔比未充分揭露。

2. 計算底座（GPU/TPU 叢集）

   • 過訓練需要極高算力且長時間佔用。以 Llama 3 8B 為例，官方揭露其訓練使用了 1.3e24 FLOPs（來源：Meta 公開報告，2024年）。大規模過訓練需要數千乃至上萬 GPU 連續執行數十天，對叢集穩定性、網路互聯、散熱、供電提出極高要求。
   • 高階算力晶片（輝達 H100/B200，AMD MI300X，Google TPU v5p 等）的需求因此被放大，尤其是訓練側的算力預算佔比顯著回升。2024 年，據半導體分析公司 Future Horizons 估計，訓練晶片市場年增率增速超過 50%（口徑：AI 訓練用途加速器營收，來源引用行業估算）。

3. 分散式訓練架構與演算法最佳化

   • 超長訓練需要高效的並行策略（張量並行、流水線並行、資料並行、序列並行）以及記憶體最佳化（如 FlashAttention、啟用檢查點）。相關技術主要由開源社群（PyTorch、Megatron-LM、DeepSpeed）和雲端廠商貢獻。

4. 資料版權與合規供應商

   • 隨著監管趨嚴，上游出現了專門進行資料確權、授權談判和合規審查的法律/技術服務商，但其財務資料大多未公開。

下游

過訓練產出的高效能小模型直接賦能所有 AI 應用層，顯著改變了下游生態：

1. 雲端端 API 與模型服務

   • 雲端廠商和模型即服務（MaaS）平台通過部署過訓練的小模型，能以更低成本提供高併發、低延遲的 API。例如，Together AI、Fireworks、Groq 等推論服務商在其平台上突出宣傳 Llama 3 8B 的極高吞吐和價效比（基於各平台 2024 年公開 benchmark 及定價頁面）。
   • 這使得中小企業和獨立開發者能夠以極低費用使用接近前沿模型的能力，擴充套件了客戶基本盤。

2. 端側與邊緣部署

   • 手機 SoC、機器人主控、IoT 閘道器等裝置算力有限，過訓練的高效小模型使本地運行復雜 AI 成為可能。高通、聯發科、Apple等晶片廠商已多次展示在裝置端執行 7B-8B 引數模型的能力（來源：2024 年各廠商產品釋出演示）。
   • 下游終端廠商據此開發出即時翻譯、離線助手、AR 導航等新功能，但尚未揭露直接由過訓練帶來的具體營收增量。

3. 垂直行業應用

   • 程式設計助手：過訓練小模型在程式碼補全上能以極低延遲執行，如 Continue、Cody 等工具可本地執行 Llama 3 8B 微調版。
   • 教育/客服：小模型微調後可嵌入線上教育平台，提供個性化輔導，推論成本低至每學生年費用可忽略。
   • 智慧代理（Agent）：多步複雜推論任務通常需要多次模型呼叫，小模型使 Agent 迴圈成本大幅下降，2024 年已有多家初創公司基於此建置商業產品（如 MultiOn、Minion AI 等）。

4. 經濟效應 過訓練加速了“AI 民主化”，使 AI 整合到更多長尾場景的經濟可行性提高。據 Ark Invest 2024 年研究報告估算，推論成本的指數下降將推動 2030 年全球 AI 軟體市場規模達到數萬億（口徑：廣義 AI 軟體及服務，不作投資建議）。但具體歸因於過訓練的比例無法精確計量。

受益公司

過訓練趨勢催生並助力了以下型別公司（注：僅客觀描述業務關聯，不做任何薦股或投資建議）：

1. 開源模型引領者與生態獲利者

   • Meta：通過 Llama 系列明確踐行過訓練，極大提升了其在 AI 生態中的話語權。Meta 本身通過模型帶動其社交和廣告業務，模型不直接收費，但其基礎研究能力（2024 年 Llama 3 報告）全面展示了過訓練方法論。
   • Mistral AI：早期以 7B 高效模型聞名，2024 年獲得大額融資，其模型路線重視極致壓縮與效率，是歐洲最主要的過訓練實踐代表。

2. 推論硬體與加速晶片公司

   • 輝達：過訓練反而推動訓練側高階 GPU 需求，同時推論市場的爆發也拉動 L40S、H100 推論卡需求。2025 財年（截至 2024 年 7 月）資料中心營收年增率增長超 200%（來源：輝達官方財報），其中推論佔比顯著擴大（據 CFO 評論，2024 年 Q1 推論佔比約 40%）。
   • Groq、Cerebras 等推論專用晶片廠商：過訓練製造了龐大高效推論需求，為這些公司提供了市場切入點。Groq 在 2024 年憑藉其 LPU 超高速度執行 Llama 3 模型吸引了大量關注，但營收規模公開揭露有限。

3. 模型服務與託管平台

   • Together AI、Fireworks、Anyscale：這類 MaaS 平台直接受益於過訓練模型的流行，提供微調、部署和推論最佳化服務。2024 年 Together AI 完成了多輪融資（公開揭露累計數億美元），反映資本對其商業模式的認可。
   • 雲端廠商：AWS、Azure、GCP 提供的模型託管服務（如 Bedrock、Azure AI Studio）將過訓練小模型作為核心產品之一，推動計算和儲存消費。

4. 應用層公司（成本敏感型）

   • 大量 AI 初創公司，如客服自動化（Intercom 的 Fin AI Agent）、程式碼輔助（Sourcegraph Cody）、文件理解（LlamaIndex 等），因推論成本降低而顯著改善毛利率。但這些公司的財務細節通常未單獨揭露這一效益。

5. 資料與標註供應商

   • Scale AI、Labelbox 等公司在過訓練時代重要性上升，因為高質量資料的整理和標註直接關係到最終模型效果。2024 年 Scale AI 獲得新融資，估值上升（來源：公開新聞報道），體現了資料基礎設施層的價值。

市場規模

過訓練直接拉動了訓練算力需求，並間接擴大了整個推論市場的規模。以下是基於公開資訊的市場觀察：

1. 訓練算力市場

   • 據 TrendForce 2024 年報告，全球 AI 伺服器出貨量在 2024 年增長逾 40%，其中訓練伺服器佔比提升到約 60%（口徑：按營收計，2024 年預估值），原因是超長預訓練和頻繁的模型迭代需要持續高算力投入。
   • 單位訓練任務的算力消耗激增：單個過訓練模型（如 Llama 3 8B）所需 FLOPs 已與過去更大型模型持平或超出，推高了高階 GPU 的採購量。

2. 推論市場與效率紅利

   • 過訓練的小模型佔據了推論市場的相當份額。根據多家雲端廠商和第三方監測，2024 年 Llama 3 8B 的 API 呼叫量在開源模型中名列前茅（來源：Cloudflare AI Gateway 等公開資料趨勢，但未揭露具體量化市場份額）。
   • 推論成本的下降速度是市場擴大的關鍵驅動力。OpenAI CEO Sam Altman 及多位業界人士公開提及，推論成本每年降低約 10 倍（基於 GPT-3 到 GPT-4o 的價格變動估算，來源：OpenAI 官方定價，2023-2024 年）。過訓練小模型使這一趨勢在開源生態同樣明顯。

3. 端側 AI 晶片市場

   • 支援 7B 及以上引數模型本地推論的神經處理單元（NPU）市場加速增長。據 Counterpoint Research 2024 年預測，2024-2028 年邊緣 AI 晶片市場年複合增長率約 25%，部分歸因於高效小模型的普及（口徑：出貨量計）。需要注意，該增長由多種技術共同推動，無法單獨拆分過訓練貢獻。

4. 資料市場

   • 高質量訓練資料的需求催生了資料交易和合成資料市場。2024 年，資料標註市場全球規模大約在 30-40 億美元級別（據 Grand View Research 2024 年報告），合成數據生成正成為新增長點，但其具體規模尚無權威統計。

玩家對比

對標行業主要參與者對過訓練策略的應用深度和透明度：

玩家	公開的代表模型	過訓練比 (D/N) 近似值	資料規模	策略特點	公開程度
Meta	Llama 3 8B/70B, Llama 3.1 8B/70B/405B	8B: ~1875；70B: ~214（均基於公開 token 數和引數量計算）	>15T tokens (2024年公開)	明確公開倡導過訓練，技術報告詳細闡述	高
Mistral AI	Mistral 7B, Mixtral 8x7B, Mistral Large (2024)	未公開具體比例；業內人士推測 7B 模型 D/N 遠高於 100	未完整揭露	極度重視模型效率，小模型追求極致效能，可能大量使用了過訓練及知識蒸餾	中低
Google	Gemma 2 9B/27B, Gemini 系列	Gemma 2 未明確宣告，但技術部落格強調“知識蒸餾”和“超長訓練”	6T tokens (Gemma 2 9B, 來源: Google 2024 技術報告)	Gemma 2 採用類似過訓練策略，但融合了強大的教師模型蒸餾，並非單純增加資料量	中
OpenAI	GPT-4o mini, GPT-4 系列	完全未公開	未公開	推測 GPT-4o mini 等小模型可能受益於過訓練與蒸餾的組合，但無實證	極低
阿里巴巴（通義）	Qwen 2 系列 (7B, 72B 等)	未公開詳細 token 數；部分第三方分析推測其小模型比值較高	據稱數萬億 tokens（公開資料未見精確數字）	開源高效模型，效能出色，策略可能包含過訓練因素	中
Anthropic	Claude 3 Haiku	未公開	未公開	在推論效率和成本方面競爭，Haiku 的定位類似高效小模型，但訓練方法未公開	極低

從上表可見，Meta 是目前唯一大範圍公開過訓練具體引數和方法的頭部玩家，這極大推動了整個開源社群的方法論共識。其他玩家雖或多或少從技術思路中受益，但提供的公開資訊不足以確認其全部訓練細節。

風險

過訓練並非沒有代價和技術風險，投資者和從業者應關注以下不確定性：

1. 邊際收益遞減與回報不確定性 隨著資料量繼續增大，效能提升會變得越來越微小，甚至可能出現“效能平台期”。投入鉅額成本增加數十個百分點的訓練資料，卻只換得 0.5% 的準確率提升，可能不具有商業合理性。目前業界尚無統一標準判定“何時停止過訓練”，該決策大多基於內部經驗曲線。

2. 資料枯竭與版權糾紛 高質量公共資料正在快速耗盡。Epoch AI 等機構研究估計，高質量文本資料可能在 2026 年前後見頂（來源：Epoch AI 2023 年報告）。轉向付費授權資料或大規模合成數據，一方面帶來成本激增，另一方面引發法律和倫理風險。（注：此處不構成對任何公司法律風險的預測。）

3. 過擬合與泛化瓶頸 儘管通過技術手段可以緩解，但超長訓練始終存在過擬合風險。在特定評測基準上得分暴漲，但在真實複雜場景中表現不佳的“基準過擬合”現象已有案例（參見學術界的批評文章，2024 年）。這將影響產品口碑和安全性。

4. 計算資源的路徑依賴 過訓練要求長時間佔用大規模算力，一旦啟動訓練，中途調整困難和成本極高。如果初始資料配比或架構選擇失誤，可能意味著數千萬美元的訓練投入付諸東流。這加大了研發風險，對決策層的判斷能力要求極高。

5. 競爭格局快速演變 新型壓縮技術（如極致量化、稀疏化、新型架構如 Mamba、RWKV）可能在未來提供比過訓練更高性價比的路徑。如果這些技術成熟，過訓練策略可能在某些場景下喪失比較優勢。截至 2025 年初，公開資料未見這些技術完全取代 Transformer+過訓練 的證據，但相關風險存在。

6. 安全與對齊風險 更長的訓練過程中可能放大型模型吸收的有害內容，或者由於長時間訓練導致對齊屬性漂移。安全團隊必須全程監控，增加了專案管理和技術難度。

誤讀糾偏

1. 誤讀：“過訓練”就是“訓練過度”，會導致過擬合和效能崩潰。

   • 糾偏：這裡的“過”特指相對於 Chinchilla 計算最優比例而言，並非一般機器學習中“過度訓練”。其目的恰是通過精細資料工程避免過擬合，使模型在推論端最大化泛化能力。實踐中大量成功模型已證明其有效性。

2. 誤讀：過訓練意味著小模型可以全面替代大型模型。

   • 糾偏：過訓練有明確天花板。對於極複雜的推論、多步驟規劃、超長上下文理解等任務，更大引數的模型仍擁有基礎能力上限和湧現能力的優勢。過訓練是在“給定部署約束下”壓縮出最高性價比，而不是讓 7B 模型達到 405B 模型的絕對效能。

3. 誤讀：Chinchilla 理論已被過訓練推翻。

   • 糾偏：Chinchilla 定律依然描述了給定計算預算下“訓練損失”的最優縮放關係。過訓練是在不同目標函式（最小化推論成本）下的合理擴充套件，兩者處於不同層面，適用於不同階段。當前業界普遍將 Chinchilla 作為重要參考基準，再根據商業目標重新調配。

4. 誤讀：過訓練只需要堆算力和資料，毫無技術含量。

   • 糾偏：成功過訓練需要極其複雜的資料排程、動態配比、課程學習、最佳化器調參等系統工程能力。公開技術報告顯示，資料質量和處理策略往往起到決定性作用，堆砌劣質資料反而會損害效能。

最新事件

（截至 2025 年初的公開資訊）

• 2024 年 4 月：Meta 釋出 Llama 3，8B 和 70B 模型全部採用遠超 Chinchilla 比例的過訓練策略，成為行業方法論教科書式案例。
• 2024 年 6 月：Google 釋出 Gemma 2，官方稱其 27B 模型通過知識蒸餾和超長訓練實現與 130B 級別模型相當的效能，市場普遍認為其中包含過訓練思想。
• 2024 年 7 月：Meta 推出 Llama 3.1 405B 及更新版 8B/70B，繼續強調資料規模和訓練時長，並將上下文視窗擴大到 128K，再次展示過訓練與長上下文結合的可能性。
• 2024 年 9 月：Mistral 釋出首款多模態模型 Pixtral 12B，雖未明確公開訓練細節，但高效能小模型特性符合過訓練方向的延續。
• 2024 年第四季度：深度求索推出 DeepSeek-V3，技術報告顯示其採用高效訓練策略，在特定資料混合和訓練長度上做了最佳化，部分分析師將其列為過訓練延伸實踐的代表之一（來源：公開技術報告，2024 年 12 月）。
• 行業投融資動態：2024 年，多家過訓練基礎設施相關公司完成大額融資，如 Lambda Labs（GPU 雲端）融資 3.2 億美元，CoreWeave 估值攀升，反映資本對訓練算力需求的認可。
• 推論成本大幅下降：OpenAI、Google、第三方服務商紛紛下調高效模型 API 價格，2024 年被稱為“推論價格戰”之年，過訓練小模型是價格競爭的關鍵武器。

追蹤指標

想要持續把握過訓練趨勢和產業影響，建議追蹤以下指標體系：

1. 新發布模型的資料/引數比
   • 關注各主要實驗室技術報告中宣告的訓練 token 數和引數量，計算 D/N 比值，觀察其是否仍在顯著增長。
2. 推論成本價格曲線
   • 追蹤主流模型 API 每百萬 token 的定價變化（如 OpenAI、Anthropic、Together AI、Groq 等），反映效率提升。
3. 關鍵基準排行榜上的“小模型”排名
   • 在 LMSYS Chatbot Arena、Open LLM Leaderboard 等獨立評測中，8B 及以下模型的最高得分變化，衡量過訓練產出能力的提升速度。
4. 訓練晶片出貨量佔比
   • 通過輝達季度財報、AMD、英特爾及行業分析報告，觀察資料中心 GPU 中訓練用途的出貨量比例和營收增長。
5. 高質量公共資料存量估算
   • Epoch AI 的“ Data Index”等專案提供的可獲取高質量文本資料總量估計，其與模型總訓練負載的比值反映資料瓶頸。
6. 邊緣 AI 晶片的 SPEC 演進
   • 手機、PC 廠商公佈的 NPU/APU TOPS 數值，及其宣稱可執行的大型模型引數上限（如“支援 10B 引數模型本地執行”）。
7. 預印本論文關鍵詞趨勢
   • arXiv 上以 “overtraining” “inference-optimal” “scaling laws” 等關鍵詞相關的論文數量與引用量，反映學術界關注度。

信源

• 原始文獻：Hoffmann et al., “Training Compute-Optimal Large Language Models” (Chinchilla), arXiv:2203.15556, 2022.
• Meta Llama 3 技術報告：Meta AI, “The Llama 3 Herd of Models”, 2024. (官方部落格及論文預印本)
• Google Gemma 2 技術報告：Google DeepMind, “Gemma 2: Improving Open Language Models at a Practical Size”, 2024.
• DeepSeek-V3 技術報告：DeepSeek-AI, 2024 年 12 月公開.
• Mistral AI 官方部落格及模型卡片：Mistral 7B/ Mixtral/ Pixtral 釋出說明, 2023-2024.
• 行業分析：TrendForce, “AI Server Market Tracker”, 2024; Counterpoint Research, “Edge AI Chipset Forecast”, 2024; Grand View Research, “Data Labeling Market Report”, 2024.
• 算力與成本：輝達 GTC 2024 主題演講及季度財報; OpenAI, Google Cloud, Together AI 公開定價頁面; Cloudflare AI Gateway 趨勢資料.
• 資料枯竭研究：Epoch AI, “Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning”, 2023.
• 宣告：本頁內容基於上述公開技術論文、公司揭露和行業分析綜合而成，所有資料均標明來源或標註“公開資料未見”。文中不包含任何薦股、買賣建議或價格預測，任何涉及財務數字均為引用第三方公開資訊或估算，僅供產業分析參考，不應作為投資依據。