Kaplan Scaling Law

1. 3秒看懂

Kaplan Scaling Law，常譯為“卡普蘭規模定律”“縮放定律”或“標度律”，是2020年由OpenAI研究員Jared Kaplan等人通過論文《Scaling Laws for Neural Language Models》（神經語言模型的縮放定律）系統提出的經驗性規律。其核心發現可以濃縮為一句話：AI大語言模型的最終效能（以交叉熵損失衡量）與訓練計算量、資料集大小、模型引數數量之間，存在可預測的平滑冪律關係——即L ∝ C^(-α)，L ∝ D^(-β)，L ∝ N^(-γ)。

這一發現的顛覆性在於，它將AI模型效能提升從一個“靠天才靈感和運氣探索”的半藝術過程，轉變為一條相對清晰的工程化路徑。研究者不再需要猜測“擴大型模型是否有用”，而是能夠依據冪律曲線，在給定預算下估算出大致可獲得的效能天花板。這一思想直接引爆了2020年末至今全球範圍內“煉大型模型”的算力軍備競賽，使模型引數規模從GPT-2的15億（2019）狂奔至GPT-4的據傳逾萬億（2023），訓練計算量增長超過6個數量級。

從產業鏈角度看，Kaplan Scaling Law如同一張公開的藏寶圖：它宣告“投入更多算力、蒐集更多高質量資料、堆疊更多引數，就能收穫更低損失和更強能力”。這一資訊迅速被全球資本和科技巨頭解碼為戰略共識，徹底重塑了從最上游的晶片設計與製造，到中間層的雲端運算與模型訓練平台，直至最下游的各類生成式AI應用及垂直行業落地的全鏈條格局。

關鍵詞：規模定律、冪律關係、計算最優、預訓練損失、算力軍備競賽

2. 3分鐘產業解釋

2.1 規模定律的核心宣告與產業衝擊

在Kaplan Scaling Law被行業廣泛接受之前，AI社群的普遍直覺是“更大未必更好”——模型過大可能過擬合，訓練可能不穩定，投入產出比不明。Kaplan等人用跨越多個數量級（從數萬引數到數十億引數）的系統實驗證明：只要計算量（Compute）、資料量（Dataset Size）和模型引數量（Parameters）三者協調增長，模型效能會沿著一條平滑的冪律曲線持續改善，且這一趨勢在可預見的範圍內沒有表現出根本性上限。

這一宣告對整個AI產業產生了三重結構性衝擊：

第一，研發路徑確定性大幅提升。 AI研發從“高風險探索”變為“高確定性工程”。公司董事會和投資委員會更容易理解“投入A預算，大機率獲得B水平的模型”，大幅降低了大型研發專案的內部論證難度。據公開資料，OpenAI在GPT-4的訓練中運用了類似縮放定律來預估訓練規模和最終效能區間（OpenAI，2023年技術報告）。

第二，資本大規模湧入上游算力環節。 既然“規模 ≈ 效能”，那麼算力就成為通往更強AI的第一生產要素。這直接驅動了GPU巨頭NVIDIA在2022至2024年間的資料中心營收爆發式增長——從2022財年（截至2022年1月）的106億美元，飆升至2024財年（截至2024年1月）的475億美元（NVIDIA 10-K年報資料，GAAP口徑）。僅2025財年第三季度（截至2024年10月27日），資料中心業務單季營收即達308億美元（NVIDIA FY25Q3財報，GAAP口徑），反映了規模定律驅動下全球算力需求的空前膨脹。

第三，產業鏈驅動模式根本轉變。 在規模定律成為共識之前，AI產業更多是“應用驅動”——下游明確場景的需求反向拉動模型研發。而Kaplan Scaling Law確立了新範式：“規模驅動”——中上游先把模型能力的天花板不斷推高，下游再圍繞新能力探索商業化場景。 這深刻改變了各環節的價值分配和權力格局。

2.2 三大冪律關係詳解

Kaplan Scaling Law描述的三條核心關係如下：

• L ∝ C^(-α)：模型最終達到的測試損失（Test Loss，即L）與訓練全過程消耗的總計算量（Compute，C）呈冪律負相關。指數α為正值，意味著計算量越大，損失越低，模型越強。實踐中計算量通常以“浮點運算次數”（FLOPs）衡量。

• L ∝ D^(-β)：損失與訓練資料的規模（Dataset Size，D）呈冪律負相關。資料量越大，損失越低。這一關係直接催生了後續行業對高質量大規模訓練資料集的狂熱追求——Common Crawl、Books3、高質量程式碼庫等成為戰略資源。

• L ∝ N^(-γ)：損失與模型自身的引數數量（Parameters，N）呈冪律負相關。引數越多，模型容量越大，損失越低。這直接開啟了“萬億引數時代”的研發競賽。

上述關係中α、β、γ的具體數值取決於模型架構、Tokenizer（分詞器）設計、訓練環境等多重因素。Kaplan等人2020年的原始論文給出了一組估計值（α≈0.050，β≈0.095，γ≈0.076），但其精確數值在不同實驗設定下會變化，後學工作（如DeepMind的Chinchilla論文，2022年）也對此進行了重要修正。

2.3 從“規模定律”到“計算最優”：Chinchilla修正

Kaplan Scaling Law發表後，領域內的後續研究對其進行了檢驗、修正和擴充套件。其中最具里程碑意義的是DeepMind在2022年發表的論文《Training Compute-Optimal Large Language Models》（訓練計算最優的大語言模型），提出了名為Chinchilla的70B引數模型及相關縮放定律。

Kaplan原始論文的一個重要推論是：在給定固定計算預算的前提下，為達到最低損失，模型引數量（N）的增長速度應快於資料量（D）的增長速度。而Chinchilla論文通過更系統的大規模實驗得出不同結論：對於給定計算預算，當模型引數量與訓練Token數量以約1:1的比例關係等比例增長時，獲得“計算最優”——即花同樣的算力，能得到更低的損失。 通俗來說，Chinchilla認為此前許多大型模型（包括GPT-3的部分訓練設定）都“模型過大但資料喂得太少”，即訓練不夠充分。

Chinchilla定律直接改變了產業實踐。例如Meta在2023至2024年陸續開源的Llama 2（2萬億Token訓練）和Llama 3（超過15萬億Token訓練），明顯體現了“小模型+大數據”的計算最優思想。這一定律的推廣也使得高質量訓練資料的價值急劇提升，資料獲取和處理能力成為模型廠商的核心競爭力。

2.4 產業鏈傳導全景

Kaplan/Chinchilla縮放定律催生的“規模驅動”範式，使產業鏈各環節之間的關係變得更加緊密且單向依賴：

上游 → 中游：算力供給（GPU/TPU叢集、高速互聯、電力、散熱）的擴張速度和成本，直接決定中游模型廠商能夠觸及的規模上限。

中游 → 下游：中游預訓練模型的能力天花板（如推論深度、多模態理解、長上下文視窗），構成了下游所有應用層創新的基礎和約束。

下游 → 市場：在模型能力達到一定門檻（如GPT-4級別）之後，下游應用方可進行場景適配和產品化，推動市場滲透和商業回報。而商業回報的一部分又會以資本支出的形式迴流到上游，繼續擴大規模。這一正向迴圈被行業稱為“規模飛輪”。

這個環環相扣的鏈條，使Kaplan Scaling Law不僅僅是一篇學術論文中的經驗公式，而成為了主導全球數千億美元AI投資的底層邏輯。

---

3. 技術原理

3.1 數學本質與實驗基礎

Kaplan Scaling Law並非從第一性原理推匯出的物理定律，而是通過跨多個數量級的系統實驗歸納出的經驗性標度關係（Empirical Scaling Relations）。其數學形式可以統一寫作：

L(N, D, C) = A/N^α + B/D^β + C_0/C^γ + L_∞

其中，L為測試集上的交叉熵損失值（Cross-Entropy Loss，越低表示模型預測分佈與真實分佈越接近）；A、B、C₀為各分項的比例係數；α、β、γ為對應的冪指數（均大於0）；L_∞則可視為理想化條件下的不可約損失（Irreducible Loss），代表訓練資料本身的固有噪聲水平。

Kaplan等人2020年的實驗涵蓋了引數規模從768到15億、訓練資料從2200萬Token到230億Token的模型，橫跨約6個數量級的計算量。實驗中觀察到，當計算量、資料量和引數量三重維度中任意單一維度受限時，模型損失在該維度的冪律曲線上平滑下降；當三者協同擴大時，損失沿著更陡峭的整體最優曲線下降。

3.2 與物理標度律的類比與區別

標度律（Scaling Law）或冪律關係在自然界和工程技術中廣泛存在。物理學中的臨界現象（如鐵磁相變點附近的磁化率發散）、生物學中的異速增長（如Kleiber定律：動物的基礎代謝率與體重的3/4次方成正比）、以及工程學中晶片功耗與頻率的關係等，均表現出類似的規律。

Kaplan Scaling Law與物理標度律的相似性在於：一旦確認冪律關係的存在，就可以在尚未達到的規模上做出外推預測。這給予了產業界極大的確定性。然而，與自然界的標度律有本質區別——物理定律通常是穩態系統中演生的客觀規律，不受人類制度變化影響；而Kaplan Scaling Law描述的是一個技術-經濟-資料複合系統中的行為，其引數可以因為演算法架構創新、硬體架構躍遷、資料質量突變而發生漂移甚至結構性斷折。因此它的預測力是有條件和有期限的，不能簡單線性外推至極遠處。

3.3 關鍵推論：“計算最優”與效率邊界

從Kaplan Scaling Law及後續Chinchilla等工作的繼承與發展中，領域內提煉出一個關鍵概念——計算最優邊界（Compute-Optimal Frontier）。這條邊界的含義是：對於任一給定的固定總計算預算（C），存在一個特定的引數量（N_opt）和資料量（D_opt）配置，使得在該預算下最終達到的損失最小。該最優配置滿足N_opt ∝ C^a，D_opt ∝ C^b，其中a+b=1。

在Kaplan的原始版本中，a > b，意味著應給引數量分配更多“增長權重”；在Chinchilla的修正版本中，a ≈ b ≈ 0.5，主張引數與資料等比例增長。這一分歧至今仍是學術界和工程界持續驗證和討論的議題，且最優比例可能隨模型架構、訓練策略（如課程學習、資料重複利用等）的不同而改變。

無論精細比例如何，計算最優概念的核心價值在於：它提供了一套在固定預算下最大化模型效能的資源分配架構，避免了“只堆引數不喂資料”的戰略浪費。

3.4 損失→能力 的非線性對映：被忽視的“最後一公里”

Kaplan Scaling Law預測的是損失函式（Loss），而非使用者在應用層面實際關心的任務表現（Accuracy, F1, BLEU, Human-Eval等）。這二者之間存在一條複雜的非線性對映關係。損失下降0.2 nat（自然對數單位）在部分任務上可能對應大幅準確率躍升，在另一些任務上則幾乎沒有可感知的變化。

尤其值得關注的是“湧現能力”（Emergent Abilities）現象：當模型規模跨越某個臨界值之後，某些任務能力可能突然從隨機水平跳升到可用水平（如多步算術推論、程式碼除錯等）。這些湧現行為無法被損失函式的平滑冪律下降直接描述，因此僅看損失曲線可能低估“越過某拐點後能力爆發的非線性價值”。這為規模定律的應用增加了定性和策略層面的複雜性。

3.5 技術侷限性與適用邊界

Scaling Law存在多方位的侷限性，對其過度延伸可能導致誤判：

1. 僅描述預訓練階段：Scaling Law的實驗基礎幾乎完全建立在預訓練（Pre-training）階段，即模型在海量無監督/自監督資料上的初始學習。在後續的監督微調（SFT）、人類反饋強化學習（RLHF）、以及推論階段的計算擴充套件（Inference-time Compute Scaling），標度行為不同於預訓練。2023至2024年業界開始討論“推論時縮放定律”（如OpenAI o1系列的鏈式思維推論），其關係仍在研究初期。

2. 架構相關性：特定標度指數依賴於Transformer架構的具體設計（層數、頭數、序列長度、稀疏性等）。架構躍遷（如從稠密Transformer到MoE混合專家模型）會改變標度行為，使歷史資料擬合的曲線失效。

3. 資料質量上限：當可用高質量新資料的邊際增量趨於零，訓練資料的冗餘度和噪聲比例上升，D^(-β)關係將不再成立，或β自身發生衰減。這被稱為“資料牆”或“資料耗盡”風險。

4. 評估基準的可信度：模型損失是在特定驗證集上度量的，若驗證集與訓練集之間存在重疊汙染，則測得的低損失可能沒有反映真實的泛化能力。

綜上，Kaplan Scaling Law是一套具有極高實用價值的工程指導原則，但它不是保證持續進步的“萬能定律”。新一代基礎模型的研發需要在縮放定律架構之上結合架構創新、資料策略、訓練策略的多維度探索。

---

4. 關鍵引數

4.1 計算量（Compute，C）

定義：指訓練一個模型從初始化到收斂所消耗的總浮點運算次數，通常以PetaFLOPs（10^15 FLOPs）或ExaFLOPs（10^18 FLOPs）為計量單位。一個FLOP代表一次浮點加法或乘法操作。

產業意義：計算量是衡量模型訓練規模和硬體投入的最核心工程指標。根據Epoch AI團隊的估算（2024年釋出的《Tracking Large-Scale AI Models》報告），前沿模型訓練計算量正以每年約4-5倍的速度增長。GPT-4訓練的計算量估計約為2e25 FLOPs量級（Epoch AI，2024年估算），而計劃中或正在訓練的前沿模型預計消耗更多的計算——部分專案已向10^26 FLOPs量級邁進。

成本轉化：計算量的經濟成本取決於所用GPU/TPU型號、小時租賃價格、叢集規模和利用率。以NVIDIA H100 GPU為例，按浮點運算能力估算（FP8格式約1979 TFLOPS），1 ExaFLOP（10^18）的計算量在該晶片上理論需約500秒完成一片計算（不計通訊和儲存損耗）。現實訓練中大規模分散式訓練的通訊開銷和利用率損失會使有效計算效率遠低於理論峰值。一項公開資訊有限但被廣泛引用的估算指出，訓練一個類似GPT-4級別的模型需花費數千萬至數億美元，其中電力成本佔據重要比例。

4.2 引數量（Parameters，N）

定義：模型的權重矩陣和偏置向量的總元素個數。對於密集式Transformer架構，引數量近似為12×層數×隱藏維度²（含嵌入層和輸出層）。“啟用引數”與“總引數”兩個口徑的區別在MoE（混合專家）模型中尤為顯著——總引數量可能達到啟用引數量的數倍至數十倍。

產業演進：從2018年的BERT-Large（約3.4億引數）、GPT-2（15億引數，2019）、GPT-3（1750億引數，2020），到GPT-4（引數量官方未公佈，外界估測1.8萬億引數左右，基於George Hotz及SemiAnalysis的推斷分析，無官方證實），引數量級在5年內增長約3-4個數量級。NVIDIA在2023年GTC大會上展示的由推薦系統到LLM的演進路徑中，也描述了引數規模快速增長的技術驅動力。

4.3 資料集規模（Dataset Size，D）

定義：訓練模型所用的總Token數。Token是文本被分詞器切分後的最小處理單位，英文中平均1個單詞對應約1.3個Token。

產業現狀：根據公開揭露的資料：

• GPT-3（2020）在約3000億Token上進行訓練（Brown et al.，2020）。
• Llama 2（2023）使用了2萬億Token進行訓練（Meta，2023技術報告）。
• Llama 3（2024）的訓練Token量攀升至超過15萬億Token（Meta，2024年公開發布資訊）。
• GoogleGemini系列模型使用了多種模態資料混合訓練，具體純文本Token量官方未完整公佈。

從3000億到15萬億以上，僅文本資料規模在3-4年內擴大約50倍。隨著資料量的劇增，高質量資料的篩選、去重、合成成為制約資料規模邊際收益的關鍵技術環節。

4.4 損失函式值（Loss，L）

定義：以交叉熵損失（Cross-Entropy Loss）為核心度量的模型預測分佈與真實分佈之間的差異，單位為nat（以e為底）或bit（以2為底）。Kaplan Scaling Law中的損失通常指在獨立驗證集上度量的測試損失，反映模型的壓縮能力與泛化水平。

與下游表現的關係：如前述，“損失降低”不等同於“任務能力年增率例提升”。損失是標度律架構內的核心最佳化目標，而最終產品體驗（如對話質量、程式碼生成正確率）是更綜合的系統輸出，受微調、對齊、推論解碼策略等多環節疊加影響。

---

5. 技術路線

5.1 路線一：極致稠密擴增（Dense Scaling）

代表：OpenAI的GPT系列（GPT-3、GPT-4）、Google的PaLM（2022）。核心理念是在傳統稠密Transformer架構上，沿Kaplan Scaling Law的建議放量擴充套件計算、資料與引數，以更大的單模型獲取更強的通用能力。

優勢：研發路徑清晰（工程系統挑戰為主，基礎架構改動小），單個模型的能力邊界不斷重新整理，通用泛化能力強。

挑戰：硬體成本和能耗急劇攀升。一次訓練所需的GPU叢集規模已從數千片（對應GPT-3級別訓練）增長到數萬片甚至十萬片級別（對應GPT-4及更前沿的訓練規模）。根據NVIDIA公開演講材料，單個H100 GPU的峰值功耗約為700W（含系統級開銷），一個10萬片H100的叢集的理論峰值功耗可達70兆瓦，對電力基礎設施提出極致要求。

5.2 路線二：計算最優效路徑（Compute-Optimal）

代表：DeepMind的Chinchilla（2022）、Meta的Llama 2/Llama 3系列。核心策略是在給定計算預算下嚴格追求引數與資料量的最優配比，避免“燒算力但吃不飽資料”。Meta的Llama 3採取了極大的資料量（>15萬億Token）配合中等引數規模（8B、70B版本），在公開基準上展現出與更大稠密模型接近的競爭力。

優勢：算力利用效率高，同等預算下獲得更強模型，或在特定的推論延遲/部署成本約束下獲得最優表現。尤其對開源社群具有高吸引力——較小模型更容易被下載、部署和社群迭代。

挑戰：對資料規模和質量的要求極高，資料獲取和清洗成本可能大幅上升。當訓練資料量達到數萬億Token級別時，需要極其龐大的資料管道和儲存體系。

5.3 路線三：MoE架構與稀疏擴增（Sparse Scaling）

代表：Google的Switch Transformer（2021）、Mistral AI的Mixtral系列（2023-2024）。MoE（Mixture-of-Experts，混合專家）架構的核心思想是：模型總體引數規模巨大，但每次前向推論中僅啟用其中的一小部分引數（“專家”）。這使得訓練和推論的計算量遠小於同等總引數量的稠密模型。

優勢：可在同等計算量下訓練總引數量大得多的模型，或在同等總引數下獲得更低的推論延遲。Mixtral 8x7B模型以約47B的總引數量，每次推論僅啟用約13B引數，在多項基準上展現出強於同計算量稠密模型的競爭力。

挑戰：MoE訓練穩定性、專家負載均衡（防止部分專家閒置、部分專家過載）、以及分散式訓練中的通訊開銷（All-to-All communication）都對工程實現提出更高要求。

5.4 路線四：合成數據與自博弈訓練

代表：DeepMind的AlphaGo Zero（自對弈，2017）、以及2023年後行業對大型模型“自我改進”的探索。當現實世界的高質量資料接近枯竭時，利用已有模型生成合成資料（Synthetic Data）進行訓練、或通過多模型之間對弈產生訓練訊號，成為拓展資料瓶頸的可能路徑。Anthropic公開提到使用了“constitutional AI”方法依賴合成數據進行對齊（Bai et al.，2022），OpenAI在GPT-4技術報告中也提到使用了模型輔助安全研究的資料生成方法。

現狀評估：合成數據路線仍處於“有前景但風險顯著”的階段。主要風險包括：模型自我生成資料的分佈偏移可能導致“模型崩塌”（Model Collapse）；合成數據中隱含的原始模型偏見和錯誤可能被迴圈放大。行業尚未形成被廣泛認可的最佳實踐，各頭部廠商仍在探索階段。

5.5 路線五：推論時計算擴充套件（Inference-Time Compute Scaling）

這是2024年隨OpenAI o1系列模型（此前代號“Strawberry”）公開討論而受到廣泛關注的新興方向。傳統Kaplan Scaling Law討論的是訓練階段的標度行為，即投入更多算力訓練更大的模型。而在推論時計算擴充套件範式中，核心思想是：在推論階段允許模型進行更多步的“思維鏈”或搜尋式推論，以推論時間換答案質量——這本身也可能遵循某種標度律。

產業界公開資訊尚不充分，但已知的是，OpenAI o1-preview模型（2024年9月釋出）在數學、程式設計等任務上表現出隨推論時間延長而持續提高準確率的趨勢（OpenAI官方博文，2024年9月）。這一路線對Kaplan Scaling Law的補充意義在於：即使訓練階段的預訓練損失已接近瓶頸，通過在推論階段“燒算力”，仍可能突破下游任務表現的平台期。這一方向與傳統的僅重視預訓練階段縮放形成互補，未來發展值得持續關注。

---

6. 上游

6.1 GPU與AI加速晶片

核心環節：訓練大規模模型所需的平行計算資源幾乎全部由高效能AI加速晶片提供，GPU佔據絕對主導地位。NVIDIA的H100（Hopper架構，2022年釋出）是當前全球訓練前沿大型模型的主力晶片。B200（Blackwell架構，2024年釋出）進一步強化了Transformer引擎和FP4低精度支援。

市場集中度：根據Mercury Research及IDC的公開估算（口徑：資料中心GPU出貨營收），NVIDIA在2023年資料中心AI加速器市場佔據超過80%的營收份額；AMD MI300X（2024年開始規模出貨）和Intel Gaudi系列合計佔小部分份額；Google TPU（Tensor Processing Unit）作為自研專用晶片，僅供Google Cloud內用，不單獨向市場出售晶片，因此在外部營收統計中通常不計入。

供應鏈約束：NVIDIA的GPU製造高度依賴台積電（TSMC）的先進製程（H100採用4nm製程，B200預計進一步迭代）和CoWoS先進封裝產能。2023年全年至2024年上半年，台積電CoWoS封裝產能出現供不應求局面，成為NVIDIA GPU出貨量的階段性瓶頸之一（TSMC 2023Q4財報電話會資訊，公開實錄）。此外，三星電子和SK海力士主導的高頻寬儲存器（HBM）也是關鍵的上游元件。SK海力士是HBM3/HBM3E的主要供應商，與NVIDIA保持緊密的供應關係。

6.2 高速互聯與網路基礎設施

大規模分散式訓練要求數十萬片GPU進行高效的引數同步和梯度交換，使得互聯頻寬和網路時延成為系統瓶頸。NVIDIA的NVLink（片間高速互聯）和NVSwitch（多GPU全互聯），以及InfiniBand網絡卡（Mellanox提供，NVIDIA於2020年收購）構成了高效能訓練叢集的標配。

InfiniBand在AI訓練叢集的市場份額極高，但乙太網路替代方案（如超乙太網路聯盟倡導的RoCEv2）正在興起。2023年7月，AMD、Arista、Broadcom、Cisco等聯合成立了Ultra Ethernet Consortium（UEC），旨在為AI和HPC場景打造開放的、基於乙太網路的互聯標準（UEC公開新聞稿，2023年7月19日），形成對InfiniBand的事實替代路徑。這一競爭格局將影響未來大規模AI叢集的總擁有成本（TCO）。

6.3 電力與資料中心基礎設施

Kaplan Scaling Law驅動模型訓練規模急劇擴大，直接推升了對資料中心電力容量和散熱能力的要求。一個大量部署H100 GPU的AI資料中心，其每機架的功率密度可達40-80kW，遠超傳統資料中心5-15kW的水平。

對電力系統的壓力：2023年起，AI資料中心對電力的需求激增在全球多個地區引發關注。美國維吉尼亞州北部（全球最大的資料中心聚集區之一）、愛爾蘭都柏林等地均出現了電網容量緊張的局面。部分新建AI資料中心開始選址在具有充裕可再生電力的地區，或考慮自建小型核能（SMR，小型模組化反應堆）進行供電——微軟在2023年已公開招聘“核技術專案負責人”，公開報道指向其考慮使用SMR為AI資料中心供電（CNBC，2023年12月報道）。

散熱路線之爭：液冷（包括直接液冷DLC和浸沒式液冷）正在從不溫不火的選項轉變為高密度AI資料中心的近標配方案。NVIDIA在2023年GTC上展示的Grace Hopper Superchip配套方案即支援液冷。據Vertiv財報電話會中引用的行業預測（2023年口徑），液冷在資料中心散熱市場的滲透率預計從2023年的不到15%提升至2028年的30%-35%。

6.4 訓練資料供應鏈

資料來源：大規模語言模型的訓練資料來源包括：網際網路公開網頁抓取（Common Crawl）、書籍、學術論文、程式碼倉庫（GitHub）、維基百科、新聞文章、以及社交媒體內容等。此外，高質量專有資料集（如科技文獻、法律檔案、醫療記錄）也日益重要，但其獲取受智慧財產權和隱私法嚴格限制。

資料標註與清洗：資料需經過質量過濾（去除低質、重複、有害內容）、去重（MinHash等演算法）、隱私資訊脫敏等複雜工序。規模化資料處理的工程能力已成為頭部模型廠商的核心壁壘之一。以Scale AI為代表的第三方資料標註和服務平台持續受益——該公司在2024年5月完成新一輪融資，估值據媒體報道達138億美元（TechCrunch，2024年5月報道），側面反映了訓練資料產業的高需求熱度。

---

7. 下游

7.1 AIGC合成內容平台

Kaplan Scaling Law推動的基礎模型能力躍升，直接催生了以文本、影像、影片、音訊為核心模態的AIGC產業。

• 文本生成：ChatGPT（OpenAI）在2022年底釋出後兩個月內使用者破億，成為有史以來增速最快的消費級應用。2024年，ChatGPT的周活躍使用者數已超過2億（OpenAI官方揭露，2024年8月）。Anthropic的Claude、Google的Gemini均定位為通用對話和任務助手，爭奪企業及個人使用者的文本生成需求。
• 影像生成：Midjourney、Stable Diffusion（Stability AI）、DALL·E 3（OpenAI）等模型基於大規模擴散模型或結合語言理解的架構，持續在影像質量和可控性上競爭。Midjourney作為私營公司未公開融資詳情，但據《The Information》等媒體2023年12月的報道，其年化營收已超過2億美元（非官方審計資料，僅作引用）。
• 影片生成：OpenAI在2024年2月釋出Sora，展示出超高質量的影片生成能力（OpenAI官網，2024年2月15日），但截至2024年底尚未公開開放全部產品功能。Runway、Pika等創業公司此前已在該領域版面配置。影片生成對單次推論的算力需求遠超文本和影像，更上游GPU卡的供給直接約束著服務的擴充套件速度。

7.2 程式設計助手與軟體工程

GitHub Copilot（微軟/OpenAI）是該方向的標杆產品。截至2024年4月，GitHub Copilot的付費使用者超過180萬（GitHub官方部落格，2024年4月）。Google的Gemini Code Assist、Meta的開原始碼模型Code Llama也在此賽道競爭。

產業影響：程式設計助手正在從“輔助補全”向“半自主開發”演化。Devin（Cognition AI，2024年3月釋出）嘗試以AI代理的形式完成完整的軟體開發任務（仍需人工審查）。這些下游應用的能力上限直接取決於上游基礎模型的推論、規劃和程式碼生成能力，而後者又依賴Kaplan/Chinchilla定律指導下的基礎模型規模投入。

7.3 垂直行業落地

生物醫藥：AlphaFold（DeepMind）系列是該賽道最突出的案例。AlphaFold 2（2020）大幅提高了蛋白質結構預測的準確率，AlphaFold 3（2024年5月發表於《Nature》）進一步擴充套件至DNA、RNA及小分子相互作用等領域的預測。AI藥物發現平台Insilico Medicine的公開管線資料顯示，其AI發現並推進至臨床試驗的候選藥物數量在2023-2024年間持續增長（公開資料源自Insilico官網釋出的研發進展更新，2024年）。

自動駕駛：特斯拉（Tesla）自研的端到端模型基於其Dojo超算系統和海量實際駕駛資料進行迭代。特斯拉在2023至2024年的公開財報電話會中多次提及Dojo是支撐FSD（Full Self-Driving）系統迭代的核心訓練設施。Waymo（Alphabet旗下）和國內的百度Apollo、華為ADS也在持續突破，均不同程度依賴大規模模型訓練基礎設施。

科學計算與氣象：2023至2024年，華為（盤古氣象）、Google（GraphCast）等相繼釋出基於深度學習的大氣環流模型，在部分預測任務上達到或超過傳統數值天氣預報的準確率，且推論速度大幅佔優。

7.4 下游應用與中游模型的“天花板依賴”

規模定律架構下的一個關鍵下游特點是：下游應用層的創新高度和可靠性，根本性地受制於中游基礎模型（Foundation Model）的能力天花板。 當基礎模型在推論、事實準確性、魯棒性等方面存在系統性缺陷時，下游應用層的修補（如通過RAG、知識圖譜、微調等手段）成本高昂，且效果存在上限。

因此，整個AI產業鏈在下游變現的節奏，很大程度上取決於中游基礎模型能否繼續沿Kaplan Scaling Law的預示持續攀升能力曲線。一旦出現“規模收益驟降”（Diminishing Returns at Scale），整個下游的商業化節奏都將受到直接衝擊。

---

8. 受益公司

重要提示：本節僅基於公開資訊對產業鏈各環節受益邏輯進行客觀梳理，不構成任何投資建議，不進行“推薦/不推薦”的價值判斷，不對任何公司的股價走勢作出預測。

8.1 晶片與算力硬體層

NVIDIA（納斯達克程式碼：NVDA）

Kaplan Scaling Law架構下最直接和最核心的受益者之一。原因在於無論哪家模型廠商推動計算量上量（C ↑），都需要更多加速晶片。NVIDIA不僅提供硬體（GPU），更重要的是建置了CUDA軟體生態和NVLink互聯協議，形成了極強的生態鎖定效應。

關鍵公開財務資料：截至2024年1月28日的2024財年，NVIDIA資料中心業務營收475億美元，年增率增長217%（NVIDIA 10-K FY2024，GAAP口徑）。截至2024年10月27日的2025財年第三季度單季，資料中心營收308億美元，年增率增長112%（NVIDIA FY25Q3財報，GAAP口徑）。

AMD（納斯達克程式碼：AMD）

作為NVIDIA最主要的直接競爭者，AMD的MI300X加速器在2024年進入規模供貨階段，定位為AI推論和部分訓練場景的替代選擇。AMD公開表示其資料中心GPU營收在2024年持續爬坡，並上調了全年營收展望（AMD 2024年Q2和Q3財報電話會摘要資訊，GAAP口徑）。

其他關鍵硬體供應商：

• SK海力士與三星電子：HBM3/HBM3E高頻寬儲存器的主要供應商。SK海力士在AI推動下的HBM出貨量激增是其2023至2024年財報中的核心驅動因素。
• 台積電（TSMC）：先進製程和CoWoS封裝的獨家或主要供應商。
• Arista Networks：高速資料中心交換器的關鍵供應商，受益於AI叢集規模擴大帶來的網路支出增加。

8.2 雲端平台與模型服務層

Microsoft（納斯達克程式碼：MSFT）

通過深度繫結OpenAI，將GPT系列模型作為Azure雲端服務的核心吸引力。Azure AI Services在2023至2024年的營收增速連續多個季度超過25%（Microsoft FY24 Q2-Q4財報電話會揭露趨勢，具體增速口徑為公司內部管理口徑），AI成為Azure增長的最重要驅動力。

Alphabet / Google（納斯達克程式碼：GOOGL）

自研TPU系列晶片（目前為TPU v5p，最新資訊截至2024年），訓練Gemini系列模型。Google Cloud在AI訓練和推論服務的市場份額持續增長。Gemini模型通過Google搜尋、YouTube、Workspace等自有產品矩陣滲透，建置了垂直一體化的“晶片-模型-應用”閉環。

Amazon（納斯達克程式碼：AMZN）

AWS自研Trainium和Inferentia推論晶片，同時提供Bedrock模型服務。AWS在2024年持續推進SageMaker等平台的AI能力整合，藉助其在雲端運算領域的最大份額將AI能力嵌入企業客戶場景。

Meta（納斯達克程式碼：META）

雖然不以雲端服務為主要對外營收來源，但Meta在開源大型模型（Llama系列）上的鉅額投入，藉助開源社群的推動力，實質性地影響了模型層格局。Meta在2024年的資本支出展望大幅上調，核心原因是AI訓練和推論基礎設施的擴張（Meta FY24 Q1及Q2財報電話會公開資訊）。

8.3 中國相關企業（依據公開資訊客觀梳理）

華為（未上市）

昇騰（Ascend）系列AI晶片（當前為910B，下一代計劃公開資訊有限）、CANN計算架構和昇思MindSpore架構，構成國產AI基礎設施鏈條的關鍵一環。華為雲端同時提供模型即服務（ModelArts），對外輸出盤古系列大型模型。受晶片出口管制影響，華為在國產替代市場獲得顯著推動力。公開資料未見其具體AI相關晶片出貨量或營收的精確資料。

阿里巴巴集團（NYSE：BABA / 港交所：9988）

阿里雲端靈駿智算叢集搭載含輝達GPU及自研晶片。通義千問系列模型採取開源開放策略（Qwen系列模型在HuggingFace社群較為活躍），阿里雲端在“模型+雲端”的一體化服務上持續版面配置。2024財年（截至2024年3月31日）阿里雲端智慧集團營收1063.74億元人民幣，年增率增長3%，經調整EBITA為61.21億元（阿里巴巴集團2024財年年報，GAAP及Non-GAAP調整口徑）。

百度集團（納斯達克程式碼：BIDU / 港交所：9888）

文心一言大型模型+崑崙晶片+飛槳（PaddlePaddle）架構。百度智慧雲端在2023至2024年間強調通過文心大型模型驅動雲端營收的增長。百度2024年第一季度財報顯示，智慧雲端營收年增率增長12%，其中AI相關營收佔比持續提升（百度2024Q1財報電話會資訊，非GAAP口徑）。

8.4 下游應用層的受益者

應用層的商業實體高度碎片化，難以窮舉。在通用原則下，無論是已上市還是未上市的AIGC創業公司，其營收增速和使用者規模增長的根本驅動力是底層模型能力的提升。因此可以將“受益”理解為：隨著Scaling Law繼續推動預訓練能力上升，下游各類AIGC、自動駕駛、醫療AI等公司在“產品體驗更優→更多使用者/客戶→更優留存和變現”邏輯下獲得增長條件。具體數字因公司而異，且多數非上市公司的營收數字為間接推斷或媒體非審計報道，在此不作逐家列舉。

---

9. 市場規模

9.1 AI整體市場展望

根據多家第三方研究機構釋出的報告，全球人工智慧市場規模預計將在2024年至2030年間保持約20%-40%的年複合增長率。不同機構的統計口徑和起點年份有所差異：

• Grand View Research（2024年釋出，口徑“全球AI市場”，含軟體、硬體和服務）：預計從2024年起以36.6%的複合年增長率增長，2030年市場規模超過1.8萬億美元。
• Bloomberg Intelligence（2023年報告）：預計全球生成式AI市場規模在2032年達到約1.3萬億美元，而2022年僅400億美元（口徑為生成式AI直接相關營收）。
• IDC（2023年10月釋出）：全球AI支出（含軟體、硬體和AI相關服務）預測在2027年將超過5000億美元。

上述資料的統計口徑存在差異（部分含硬體和服務，部分僅含生成式AI軟體層），引用時需注意區分。

9.2 AI算力基礎設施市場（GPU/加速晶片）

Kaplan Scaling Law最直接拉動的是AI訓練與推論晶片市場。根據接受度較高的第三方估算：

• NVIDIA資料中心營收（可作為市場參考錨點）：NVIDIA FY2024資料中心營收475億美元；FY2025（尚未結束）前三季度累計已約812億美元，按此趨勢全年大機率突破1000億美元（NVIDIA各季財報，GAAP口徑）。

• AMD、Intel及自研晶片：公開資料較分散。AMD預計其2024年資料中心GPU營收將超過45億美元（AMD 2024年Q3財報電話會的數字展望）。Intel同期相關營收規模較小。Google TPU的資本支出隱含規模在百億美元量級（基於Google資本支出和公開揭露的TPU部署資訊綜合推斷，非官方分項揭露）。

綜上，2024年全球AI加速器晶片的市場規模（含對外銷售和自用）估算在1200-1500億美元區間（綜合各公司財報趨勢和行業報告的粗略估算值，來源多樣，非精確統計）。

9.3 AI雲端服務市場

模型訓練和推論正成為雲端運算增長的核心動力。Synergy Research Group（2024年Q1報告）指出，2024年第一季度全球雲端基礎設施服務支出超過760億美元，年增率增長21%，其中AI相關負載的貢獻顯著提升。具體“AI即服務”（AI-as-a-Service）的細分市場規模尚未形成統一的第三方標準口徑。

9.4 訓練資料市場

根據MarketsandMarkets（2024年釋出）報告的估計，全球AI訓練資料集市場規模在2024年約為29億美元，預計在2029年達到約79億美元（口徑包含文本、影像、音訊、影片等各類別訓練資料的授權、標註和管理服務）。公開資料未能找到國內訓練資料市場的同口徑精確規模統計。

9.5 市場增長的核心邏輯與天花板

上述市場預測的共性潛在假設是：Kaplan Scaling Law（及後續修正最佳化版）繼續有效，即投入更多計算資源能持續換取模型效能可感知的提升。若出現長期性的“規模收益停滯”（預訓練損失不再隨計算量增加而平滑下降），則市場增長曲線將面臨根本性修正。因此本節所有市場規模預測均包含這一預設前提。

---

10. 玩家對比

本段按照“算力控制力”“模型自研能力”“資料規模與渠道”“商業化變現路徑”四個維度，對全球主要競爭者進行客觀對比。維度遵循行業通常關注的核心競爭力方向，評等使用“領先/較強/中等/追趕”四檔，基於公開可驗證的資訊做定性歸類（無量化評分）。

10.1 算力控制力

公司	算力控制力	說明
Google	領先	自研TPU系列，不受外部晶片供應短缺約束；自建資料中心規模居全球前列。
Microsoft	較強-領先	大規模採購NVIDIA GPU，並開始版面配置自研晶片（Azure Maia 100，2023年宣佈）；Azure全球基礎設施版面配置廣泛。
Amazon	較強	自研Trainium/Inferentia，AWS為全球最大雲端廠商（按營收口徑），資本實力支撐大規模GPU採購。
Meta	較強	2024年資本支出展望大幅上調，公開表明將擁有60萬片H100等效算力（Meta官方博文，2024年1月）；但高度依賴外部晶片供應商。
NVIDIA	領先（自身生態）	自用GPU叢集規模不如頂級雲端大廠，但作為晶片源頭，其內部研發叢集可被優先滿足。
華為	中等-較強	昇騰晶片自研，受制程和先進封裝的制約較強；但國產替代政策和自給化生態建設形成緩衝。
百度	中等	崑崙系列自研晶片在內部場景部分替代，但前沿模型訓練仍高度依賴輝達GPU。

10.2 模型自研能力

• 頂尖梯隊：OpenAI（GPT-4/o1系列）、Google（Gemini）、Anthropic（Claude）
• 強勁競爭者：Meta（Llama系列，開源路線獨樹一幟）、Mistral AI（歐洲代表，Mixtral MoE系列）
• 中國第一梯隊：阿里巴巴（通義千問）、百度（文心）、華為（盤古）、深度求索（DeepSeek-V2/V3）、智譜AI（GLM系列）等

上述劃分基於各模型在MMLU、HumanEval、GSM8K等主流公開基準上的綜合表現及論文/技術報告公開資訊，不構成精細排序。

10.3 資料規模與渠道

• 消費級資料佔有者：Google（搜尋、YouTube）、Meta（Facebook、Instagram）、騰訊（微信）等擁有海量使用者行為資料，內容生態豐富。
• 企業資料渠道：Microsoft（Office 365、LinkedIn、GitHub）在企業知識庫和程式碼資產上具有獨特優勢。
• 中國資料特點：中文語料規模和質量在英文之後獨佔一檔，但受限於分割化的生態（微信、抖音等平台的資料不易跨域整合），建置高質量通用中文資料集需付出更多合規和技術努力。

10.4 商業化變現路徑

• 賣鏟子型：NVIDIA——直接受益於所有玩家的規模競賽。
• 雲端服務捆綁型：Microsoft、Google、Amazon——將模型能力嵌入雲端平台，客戶的模型消費即雲端營收。
• 應用訂閱+API型：OpenAI——ChatGPT訂閱營收（ChatGPT Plus/Pro/Enterprise）與API呼叫營收雙軌並行。據《The Information》2024年6月報道（援引未具名知情人士），OpenAI 2024年的年化營收在2024年6月已超過34億美元。官方未公佈嚴格審計口徑下的營收確認細節。
• 開源生態推動型：Meta——不直接變現模型授權，但通過提升推薦系統和廣告系統