Kaplan Scaling Law
1. 3秒看懂
Kaplan Scaling Law,常译为“卡普兰规模定律”“缩放定律”或“标度律”,是2020年由OpenAI研究员Jared Kaplan等人通过论文《Scaling Laws for Neural Language Models》(神经语言模型的缩放定律)系统提出的经验性规律。其核心发现可以浓缩为一句话:AI大语言模型的最终性能(以交叉熵损失衡量)与训练计算量、数据集大小、模型参数数量之间,存在可预测的平滑幂律关系——即L ∝ C^(-α),L ∝ D^(-β),L ∝ N^(-γ)。
这一发现的颠覆性在于,它将AI模型性能提升从一个“靠天才灵感和运气探索”的半艺术过程,转变为一条相对清晰的工程化路径。研究者不再需要猜测“扩大模型是否有用”,而是能够依据幂律曲线,在给定预算下估算出大致可获得的性能天花板。这一思想直接引爆了2020年末至今全球范围内“炼大模型”的算力军备竞赛,使模型参数规模从GPT-2的15亿(2019)狂奔至GPT-4的据传逾万亿(2023),训练计算量增长超过6个数量级。
从产业链角度看,Kaplan Scaling Law如同一张公开的藏宝图:它宣告“投入更多算力、搜集更多高质量数据、堆叠更多参数,就能收获更低损失和更强能力”。这一信息迅速被全球资本和科技巨头解码为战略共识,彻底重塑了从最上游的芯片设计与制造,到中间层的云计算与模型训练平台,直至最下游的各类生成式AI应用及垂直行业落地的全链条格局。
关键词:规模定律、幂律关系、计算最优、预训练损失、算力军备竞赛
2. 3分钟产业解释
2.1 规模定律的核心宣告与产业冲击
在Kaplan Scaling Law被行业广泛接受之前,AI社区的普遍直觉是“更大未必更好”——模型过大可能过拟合,训练可能不稳定,投入产出比不明。Kaplan等人用跨越多个数量级(从数万参数到数十亿参数)的系统实验证明:只要计算量(Compute)、数据量(Dataset Size)和模型参数量(Parameters)三者协调增长,模型性能会沿着一条平滑的幂律曲线持续改善,且这一趋势在可预见的范围内没有表现出根本性上限。
这一宣告对整个AI产业产生了三重结构性冲击:
第一,研发路径确定性大幅提升。 AI研发从“高风险探索”变为“高确定性工程”。公司董事会和投资委员会更容易理解“投入A预算,大概率获得B水平的模型”,大幅降低了大型研发项目的内部论证难度。据公开资料,OpenAI在GPT-4的训练中运用了类似缩放定律来预估训练规模和最终性能区间(OpenAI,2023年技术报告)。
第二,资本大规模涌入上游算力环节。 既然“规模 ≈ 性能”,那么算力就成为通往更强AI的第一生产要素。这直接驱动了GPU巨头NVIDIA在2022至2024年间的数据中心收入爆发式增长——从2022财年(截至2022年1月)的106亿美元,飙升至2024财年(截至2024年1月)的475亿美元(NVIDIA 10-K年报数据,GAAP口径)。仅2025财年第三季度(截至2024年10月27日),数据中心业务单季收入即达308亿美元(NVIDIA FY25Q3财报,GAAP口径),反映了规模定律驱动下全球算力需求的空前膨胀。
第三,产业链驱动模式根本转变。 在规模定律成为共识之前,AI产业更多是“应用驱动”——下游明确场景的需求反向拉动模型研发。而Kaplan Scaling Law确立了新范式:“规模驱动”——中上游先把模型能力的天花板不断推高,下游再围绕新能力探索商业化场景。 这深刻改变了各环节的价值分配和权力格局。
2.2 三大幂律关系详解
Kaplan Scaling Law描述的三条核心关系如下:
-
L ∝ C^(-α):模型最终达到的测试损失(Test Loss,即L)与训练全过程消耗的总计算量(Compute,C)呈幂律负相关。指数α为正值,意味着计算量越大,损失越低,模型越强。实践中计算量通常以“浮点运算次数”(FLOPs)衡量。
-
L ∝ D^(-β):损失与训练数据的规模(Dataset Size,D)呈幂律负相关。数据量越大,损失越低。这一关系直接催生了后续行业对高质量大规模训练数据集的狂热追求——Common Crawl、Books3、高质量代码库等成为战略资源。
-
L ∝ N^(-γ):损失与模型自身的参数数量(Parameters,N)呈幂律负相关。参数越多,模型容量越大,损失越低。这直接开启了“万亿参数时代”的研发竞赛。
上述关系中α、β、γ的具体数值取决于模型架构、Tokenizer(分词器)设计、训练环境等多重因素。Kaplan等人2020年的原始论文给出了一组估计值(α≈0.050,β≈0.095,γ≈0.076),但其精确数值在不同实验设定下会变化,后学工作(如DeepMind的Chinchilla论文,2022年)也对此进行了重要修正。
2.3 从“规模定律”到“计算最优”:Chinchilla修正
Kaplan Scaling Law发表后,领域内的后续研究对其进行了检验、修正和扩展。其中最具里程碑意义的是DeepMind在2022年发表的论文《Training Compute-Optimal Large Language Models》(训练计算最优的大语言模型),提出了名为Chinchilla的70B参数模型及相关缩放定律。
Kaplan原始论文的一个重要推论是:在给定固定计算预算的前提下,为达到最低损失,模型参数量(N)的增长速度应快于数据量(D)的增长速度。而Chinchilla论文通过更系统的大规模实验得出不同结论:对于给定计算预算,当模型参数量与训练Token数量以约1:1的比例关系等比例增长时,获得“计算最优”——即花同样的算力,能得到更低的损失。 通俗来说,Chinchilla认为此前许多大模型(包括GPT-3的部分训练设定)都“模型过大但数据喂得太少”,即训练不够充分。
Chinchilla定律直接改变了产业实践。例如Meta在2023至2024年陆续开源的Llama 2(2万亿Token训练)和Llama 3(超过15万亿Token训练),明显体现了“小模型+大数据”的计算最优思想。这一定律的推广也使得高质量训练数据的价值急剧提升,数据获取和处理能力成为模型厂商的核心竞争力。
2.4 产业链传导全景
Kaplan/Chinchilla缩放定律催生的“规模驱动”范式,使产业链各环节之间的关系变得更加紧密且单向依赖:
上游 → 中游:算力供给(GPU/TPU集群、高速互联、电力、散热)的扩张速度和成本,直接决定中游模型厂商能够触及的规模上限。
中游 → 下游:中游预训练模型的能力天花板(如推理深度、多模态理解、长上下文窗口),构成了下游所有应用层创新的基础和约束。
下游 → 市场:在模型能力达到一定门槛(如GPT-4级别)之后,下游应用方可进行场景适配和产品化,推动市场渗透和商业回报。而商业回报的一部分又会以资本支出的形式回流到上游,继续扩大规模。这一正向循环被行业称为“规模飞轮”。
这个环环相扣的链条,使Kaplan Scaling Law不仅仅是一篇学术论文中的经验公式,而成为了主导全球数千亿美元AI投资的底层逻辑。
3. 技术原理
3.1 数学本质与实验基础
Kaplan Scaling Law并非从第一性原理推导出的物理定律,而是通过跨多个数量级的系统实验归纳出的经验性标度关系(Empirical Scaling Relations)。其数学形式可以统一写作:
L(N, D, C) = A/N^α + B/D^β + C_0/C^γ + L_∞
其中,L为测试集上的交叉熵损失值(Cross-Entropy Loss,越低表示模型预测分布与真实分布越接近);A、B、C₀为各分项的比例系数;α、β、γ为对应的幂指数(均大于0);L_∞则可视为理想化条件下的不可约损失(Irreducible Loss),代表训练数据本身的固有噪声水平。
Kaplan等人2020年的实验涵盖了参数规模从768到15亿、训练数据从2200万Token到230亿Token的模型,横跨约6个数量级的计算量。实验中观察到,当计算量、数据量和参数量三重维度中任意单一维度受限时,模型损失在该维度的幂律曲线上平滑下降;当三者协同扩大时,损失沿着更陡峭的整体最优曲线下降。
3.2 与物理标度律的类比与区别
标度律(Scaling Law)或幂律关系在自然界和工程技术中广泛存在。物理学中的临界现象(如铁磁相变点附近的磁化率发散)、生物学中的异速增长(如Kleiber定律:动物的基础代谢率与体重的3/4次方成正比)、以及工程学中芯片功耗与频率的关系等,均表现出类似的规律。
Kaplan Scaling Law与物理标度律的相似性在于:一旦确认幂律关系的存在,就可以在尚未达到的规模上做出外推预测。这给予了产业界极大的确定性。然而,与自然界的标度律有本质区别——物理定律通常是稳态系统中演生的客观规律,不受人类制度变化影响;而Kaplan Scaling Law描述的是一个技术-经济-数据复合系统中的行为,其参数可以因为算法架构创新、硬件架构跃迁、数据质量突变而发生漂移甚至结构性断折。因此它的预测力是有条件和有期限的,不能简单线性外推至极远处。
3.3 关键推论:“计算最优”与效率边界
从Kaplan Scaling Law及后续Chinchilla等工作的继承与发展中,领域内提炼出一个关键概念——计算最优边界(Compute-Optimal Frontier)。这条边界的含义是:对于任一给定的固定总计算预算(C),存在一个特定的参数量(N_opt)和数据量(D_opt)配置,使得在该预算下最终达到的损失最小。该最优配置满足N_opt ∝ C^a,D_opt ∝ C^b,其中a+b=1。
在Kaplan的原始版本中,a > b,意味着应给参数量分配更多“增长权重”;在Chinchilla的修正版本中,a ≈ b ≈ 0.5,主张参数与数据等比例增长。这一分歧至今仍是学术界和工程界持续验证和讨论的议题,且最优比例可能随模型架构、训练策略(如课程学习、数据重复利用等)的不同而改变。
无论精细比例如何,计算最优概念的核心价值在于:它提供了一套在固定预算下最大化模型性能的资源分配框架,避免了“只堆参数不喂数据”的战略浪费。
3.4 损失→能力 的非线性映射:被忽视的“最后一公里”
Kaplan Scaling Law预测的是损失函数(Loss),而非用户在应用层面实际关心的任务表现(Accuracy, F1, BLEU, Human-Eval等)。这二者之间存在一条复杂的非线性映射关系。损失下降0.2 nat(自然对数单位)在部分任务上可能对应大幅准确率跃升,在另一些任务上则几乎没有可感知的变化。
尤其值得关注的是“涌现能力”(Emergent Abilities)现象:当模型规模跨越某个临界值之后,某些任务能力可能突然从随机水平跳升到可用水平(如多步算术推理、代码调试等)。这些涌现行为无法被损失函数的平滑幂律下降直接描述,因此仅看损失曲线可能低估“越过某拐点后能力爆发的非线性价值”。这为规模定律的应用增加了定性和策略层面的复杂性。
3.5 技术局限性与适用边界
Scaling Law存在多方位的局限性,对其过度延伸可能导致误判:
-
仅描述预训练阶段:Scaling Law的实验基础几乎完全建立在预训练(Pre-training)阶段,即模型在海量无监督/自监督数据上的初始学习。在后续的监督微调(SFT)、人类反馈强化学习(RLHF)、以及推理阶段的计算扩展(Inference-time Compute Scaling),标度行为不同于预训练。2023至2024年业界开始讨论“推理时缩放定律”(如OpenAI o1系列的链式思维推理),其关系仍在研究初期。
-
架构相关性:特定标度指数依赖于Transformer架构的具体设计(层数、头数、序列长度、稀疏性等)。架构跃迁(如从稠密Transformer到MoE混合专家模型)会改变标度行为,使历史数据拟合的曲线失效。
-
数据质量上限:当可用高质量新数据的边际增量趋于零,训练数据的冗余度和噪声比例上升,D^(-β)关系将不再成立,或β自身发生衰减。这被称为“数据墙”或“数据耗尽”风险。
-
评估基准的可信度:模型损失是在特定验证集上度量的,若验证集与训练集之间存在重叠污染,则测得的低损失可能没有反映真实的泛化能力。
综上,Kaplan Scaling Law是一套具有极高实用价值的工程指导原则,但它不是保证持续进步的“万能定律”。新一代基础模型的研发需要在缩放定律框架之上结合架构创新、数据策略、训练策略的多维度探索。
4. 关键参数
4.1 计算量(Compute,C)
定义:指训练一个模型从初始化到收敛所消耗的总浮点运算次数,通常以PetaFLOPs(10^15 FLOPs)或ExaFLOPs(10^18 FLOPs)为计量单位。一个FLOP代表一次浮点加法或乘法操作。
产业意义:计算量是衡量模型训练规模和硬件投入的最核心工程指标。根据Epoch AI团队的估算(2024年发布的《Tracking Large-Scale AI Models》报告),前沿模型训练计算量正以每年约4-5倍的速度增长。GPT-4训练的计算量估计约为2e25 FLOPs量级(Epoch AI,2024年估算),而计划中或正在训练的前沿模型预计消耗更多的计算——部分项目已向10^26 FLOPs量级迈进。
成本转化:计算量的经济成本取决于所用GPU/TPU型号、小时租赁价格、集群规模和利用率。以NVIDIA H100 GPU为例,按浮点运算能力估算(FP8格式约1979 TFLOPS),1 ExaFLOP(10^18)的计算量在该芯片上理论需约500秒完成一片计算(不计通信和存储损耗)。现实训练中大规模分布式训练的通信开销和利用率损失会使有效计算效率远低于理论峰值。一项公开信息有限但被广泛引用的估算指出,训练一个类似GPT-4级别的模型需花费数千万至数亿美元,其中电力成本占据重要比例。
4.2 参数量(Parameters,N)
定义:模型的权重矩阵和偏置向量的总元素个数。对于密集式Transformer架构,参数量近似为12×层数×隐藏维度²(含嵌入层和输出层)。“激活参数”与“总参数”两个口径的区别在MoE(混合专家)模型中尤为显著——总参数量可能达到激活参数量的数倍至数十倍。
产业演进:从2018年的BERT-Large(约3.4亿参数)、GPT-2(15亿参数,2019)、GPT-3(1750亿参数,2020),到GPT-4(参数量官方未公布,外界估测1.8万亿参数左右,基于George Hotz及SemiAnalysis的推断分析,无官方证实),参数量级在5年内增长约3-4个数量级。NVIDIA在2023年GTC大会上展示的由推荐系统到LLM的演进路径中,也描述了参数规模快速增长的技术驱动力。
4.3 数据集规模(Dataset Size,D)
定义:训练模型所用的总Token数。Token是文本被分词器切分后的最小处理单位,英文中平均1个单词对应约1.3个Token。
产业现状:根据公开披露的数据:
- GPT-3(2020)在约3000亿Token上进行训练(Brown et al.,2020)。
- Llama 2(2023)使用了2万亿Token进行训练(Meta,2023技术报告)。
- Llama 3(2024)的训练Token量攀升至超过15万亿Token(Meta,2024年公开发布信息)。
- 谷歌Gemini系列模型使用了多种模态数据混合训练,具体纯文本Token量官方未完整公布。
从3000亿到15万亿以上,仅文本数据规模在3-4年内扩大约50倍。随着数据量的剧增,高质量数据的筛选、去重、合成成为制约数据规模边际收益的关键技术环节。
4.4 损失函数值(Loss,L)
定义:以交叉熵损失(Cross-Entropy Loss)为核心度量的模型预测分布与真实分布之间的差异,单位为nat(以e为底)或bit(以2为底)。Kaplan Scaling Law中的损失通常指在独立验证集上度量的测试损失,反映模型的压缩能力与泛化水平。
与下游表现的关系:如前述,“损失降低”不等同于“任务能力同比例提升”。损失是标度律框架内的核心优化目标,而最终产品体验(如对话质量、代码生成正确率)是更综合的系统输出,受微调、对齐、推理解码策略等多环节叠加影响。
5. 技术路线
5.1 路线一:极致稠密扩增(Dense Scaling)
代表:OpenAI的GPT系列(GPT-3、GPT-4)、Google的PaLM(2022)。核心理念是在传统稠密Transformer架构上,沿Kaplan Scaling Law的建议放量扩展计算、数据与参数,以更大的单模型获取更强的通用能力。
优势:研发路径清晰(工程系统挑战为主,基础架构改动小),单个模型的能力边界不断刷新,通用泛化能力强。
挑战:硬件成本和能耗急剧攀升。一次训练所需的GPU集群规模已从数千片(对应GPT-3级别训练)增长到数万片甚至十万片级别(对应GPT-4及更前沿的训练规模)。根据NVIDIA公开演讲材料,单个H100 GPU的峰值功耗约为700W(含系统级开销),一个10万片H100的集群的理论峰值功耗可达70兆瓦,对电力基础设施提出极致要求。
5.2 路线二:计算最优效路径(Compute-Optimal)
代表:DeepMind的Chinchilla(2022)、Meta的Llama 2/Llama 3系列。核心策略是在给定计算预算下严格追求参数与数据量的最优配比,避免“烧算力但吃不饱数据”。Meta的Llama 3采取了极大的数据量(>15万亿Token)配合中等参数规模(8B、70B版本),在公开基准上展现出与更大稠密模型接近的竞争力。
优势:算力利用效率高,同等预算下获得更强模型,或在特定的推理延迟/部署成本约束下获得最优表现。尤其对开源社区具有高吸引力——较小模型更容易被下载、部署和社区迭代。
挑战:对数据规模和质量的要求极高,数据获取和清洗成本可能大幅上升。当训练数据量达到数万亿Token级别时,需要极其庞大的数据管道和存储体系。
5.3 路线三:MoE架构与稀疏扩增(Sparse Scaling)
代表:Google的Switch Transformer(2021)、Mistral AI的Mixtral系列(2023-2024)。MoE(Mixture-of-Experts,混合专家)架构的核心思想是:模型总体参数规模巨大,但每次前向推理中仅激活其中的一小部分参数(“专家”)。这使得训练和推理的计算量远小于同等总参数量的稠密模型。
优势:可在同等计算量下训练总参数量大得多的模型,或在同等总参数下获得更低的推理延迟。Mixtral 8x7B模型以约47B的总参数量,每次推理仅激活约13B参数,在多项基准上展现出强于同计算量稠密模型的竞争力。
挑战:MoE训练稳定性、专家负载均衡(防止部分专家闲置、部分专家过载)、以及分布式训练中的通讯开销(All-to-All communication)都对工程实现提出更高要求。
5.4 路线四:合成数据与自博弈训练
代表:DeepMind的AlphaGo Zero(自对弈,2017)、以及2023年后行业对大模型“自我改进”的探索。当现实世界的高质量数据接近枯竭时,利用已有模型生成合成数据(Synthetic Data)进行训练、或通过多模型之间对弈产生训练信号,成为拓展数据瓶颈的可能路径。Anthropic公开提到使用了“constitutional AI”方法依赖合成数据进行对齐(Bai et al.,2022),OpenAI在GPT-4技术报告中也提到使用了模型辅助安全研究的数据生成方法。
现状评估:合成数据路线仍处于“有前景但风险显著”的阶段。主要风险包括:模型自我生成数据的分布偏移可能导致“模型崩塌”(Model Collapse);合成数据中隐含的原始模型偏见和错误可能被循环放大。行业尚未形成被广泛认可的最佳实践,各头部厂商仍在探索阶段。
5.5 路线五:推理时计算扩展(Inference-Time Compute Scaling)
这是2024年随OpenAI o1系列模型(此前代号“Strawberry”)公开讨论而受到广泛关注的新兴方向。传统Kaplan Scaling Law讨论的是训练阶段的标度行为,即投入更多算力训练更大的模型。而在推理时计算扩展范式中,核心思想是:在推理阶段允许模型进行更多步的“思维链”或搜索式推理,以推理时间换答案质量——这本身也可能遵循某种标度律。
产业界公开信息尚不充分,但已知的是,OpenAI o1-preview模型(2024年9月发布)在数学、编程等任务上表现出随推理时间延长而持续提高准确率的趋势(OpenAI官方博文,2024年9月)。这一路线对Kaplan Scaling Law的补充意义在于:即使训练阶段的预训练损失已接近瓶颈,通过在推理阶段“烧算力”,仍可能突破下游任务表现的平台期。这一方向与传统的仅重视预训练阶段缩放形成互补,未来发展值得持续关注。
6. 上游
6.1 GPU与AI加速芯片
核心环节:训练大规模模型所需的并行计算资源几乎全部由高性能AI加速芯片提供,GPU占据绝对主导地位。NVIDIA的H100(Hopper架构,2022年发布)是当前全球训练前沿大模型的主力芯片。B200(Blackwell架构,2024年发布)进一步强化了Transformer引擎和FP4低精度支持。
市场集中度:根据Mercury Research及IDC的公开估算(口径:数据中心GPU出货收入),NVIDIA在2023年数据中心AI加速器市场占据超过80%的收入份额;AMD MI300X(2024年开始规模出货)和Intel Gaudi系列合计占小部分份额;Google TPU(Tensor Processing Unit)作为自研专用芯片,仅供Google Cloud内用,不单独向市场出售芯片,因此在外部收入统计中通常不计入。
供应链约束:NVIDIA的GPU制造高度依赖台积电(TSMC)的先进制程(H100采用4nm制程,B200预计进一步迭代)和CoWoS先进封装产能。2023年全年至2024年上半年,台积电CoWoS封装产能出现供不应求局面,成为NVIDIA GPU出货量的阶段性瓶颈之一(TSMC 2023Q4财报电话会信息,公开实录)。此外,三星电子和SK海力士主导的高带宽存储器(HBM)也是关键的上游组件。SK海力士是HBM3/HBM3E的主要供应商,与NVIDIA保持紧密的供应关系。
6.2 高速互联与网络基础设施
大规模分布式训练要求数十万片GPU进行高效的参数同步和梯度交换,使得互联带宽和网络时延成为系统瓶颈。NVIDIA的NVLink(片间高速互联)和NVSwitch(多GPU全互联),以及InfiniBand网卡(Mellanox提供,NVIDIA于2020年收购)构成了高性能训练集群的标配。
InfiniBand在AI训练集群的市场份额极高,但以太网替代方案(如超以太网联盟倡导的RoCEv2)正在兴起。2023年7月,AMD、Arista、Broadcom、Cisco等联合成立了Ultra Ethernet Consortium(UEC),旨在为AI和HPC场景打造开放的、基于以太网的互联标准(UEC公开新闻稿,2023年7月19日),形成对InfiniBand的事实替代路径。这一竞争格局将影响未来大规模AI集群的总拥有成本(TCO)。
6.3 电力与数据中心基础设施
Kaplan Scaling Law驱动模型训练规模急剧扩大,直接推升了对数据中心电力容量和散热能力的要求。一个大量部署H100 GPU的AI数据中心,其每机架的功率密度可达40-80kW,远超传统数据中心5-15kW的水平。
对电力系统的压力:2023年起,AI数据中心对电力的需求激增在全球多个地区引发关注。美国弗吉尼亚州北部(全球最大的数据中心聚集区之一)、爱尔兰都柏林等地均出现了电网容量紧张的局面。部分新建AI数据中心开始选址在具有充裕可再生电力的地区,或考虑自建小型核能(SMR,小型模块化反应堆)进行供电——微软在2023年已公开招聘“核技术项目负责人”,公开报道指向其考虑使用SMR为AI数据中心供电(CNBC,2023年12月报道)。
散热路线之争:液冷(包括直接液冷DLC和浸没式液冷)正在从不温不火的选项转变为高密度AI数据中心的近标配方案。NVIDIA在2023年GTC上展示的Grace Hopper Superchip配套方案即支持液冷。据Vertiv财报电话会中引用的行业预测(2023年口径),液冷在数据中心散热市场的渗透率预计从2023年的不到15%提升至2028年的30%-35%。
6.4 训练数据供应链
数据来源:大规模语言模型的训练数据来源包括:互联网公开网页抓取(Common Crawl)、书籍、学术论文、代码仓库(GitHub)、维基百科、新闻文章、以及社交媒体内容等。此外,高质量专有数据集(如科技文献、法律文件、医疗记录)也日益重要,但其获取受知识产权和隐私法严格限制。
数据标注与清洗:数据需经过质量过滤(去除低质、重复、有害内容)、去重(MinHash等算法)、隐私信息脱敏等复杂工序。规模化数据处理的工程能力已成为头部模型厂商的核心壁垒之一。以Scale AI为代表的第三方数据标注和服务平台持续受益——该公司在2024年5月完成新一轮融资,估值据媒体报道达138亿美元(TechCrunch,2024年5月报道),侧面反映了训练数据产业的高需求热度。
7. 下游
7.1 AIGC合成内容平台
Kaplan Scaling Law推动的基础模型能力跃升,直接催生了以文本、图像、视频、音频为核心模态的AIGC产业。
- 文本生成:ChatGPT(OpenAI)在2022年底发布后两个月内用户破亿,成为有史以来增速最快的消费级应用。2024年,ChatGPT的周活跃用户数已超过2亿(OpenAI官方披露,2024年8月)。Anthropic的Claude、Google的Gemini均定位为通用对话和任务助手,争夺企业及个人用户的文本生成需求。
- 图像生成:Midjourney、Stable Diffusion(Stability AI)、DALL·E 3(OpenAI)等模型基于大规模扩散模型或结合语言理解的架构,持续在图像质量和可控性上竞争。Midjourney作为私营公司未公开融资详情,但据《The Information》等媒体2023年12月的报道,其年化收入已超过2亿美元(非官方审计数据,仅作引用)。
- 视频生成:OpenAI在2024年2月发布Sora,展示出超高质量的视频生成能力(OpenAI官网,2024年2月15日),但截至2024年底尚未公开开放全部产品功能。Runway、Pika等创业公司此前已在该领域布局。视频生成对单次推理的算力需求远超文本和图像,更上游GPU卡的供给直接约束着服务的扩展速度。
7.2 编程助手与软件工程
GitHub Copilot(微软/OpenAI)是该方向的标杆产品。截至2024年4月,GitHub Copilot的付费用户超过180万(GitHub官方博客,2024年4月)。Google的Gemini Code Assist、Meta的开源代码模型Code Llama也在此赛道竞争。
产业影响:编程助手正在从“辅助补全”向“半自主开发”演化。Devin(Cognition AI,2024年3月发布)尝试以AI代理的形式完成完整的软件开发任务(仍需人工审查)。这些下游应用的能力上限直接取决于上游基础模型的推理、规划和代码生成能力,而后者又依赖Kaplan/Chinchilla定律指导下的基础模型规模投入。
7.3 垂直行业落地
生物医药:AlphaFold(DeepMind)系列是该赛道最突出的案例。AlphaFold 2(2020)大幅提高了蛋白质结构预测的准确率,AlphaFold 3(2024年5月发表于《Nature》)进一步扩展至DNA、RNA及小分子相互作用等领域的预测。AI药物发现平台Insilico Medicine的公开管线数据显示,其AI发现并推进至临床试验的候选药物数量在2023-2024年间持续增长(公开资料源自Insilico官网发布的研发进展更新,2024年)。
自动驾驶:特斯拉(Tesla)自研的端到端模型基于其Dojo超算系统和海量实际驾驶数据进行迭代。特斯拉在2023至2024年的公开财报电话会中多次提及Dojo是支撑FSD(Full Self-Driving)系统迭代的核心训练设施。Waymo(Alphabet旗下)和国内的百度Apollo、华为ADS也在持续突破,均不同程度依赖大规模模型训练基础设施。
科学计算与气象:2023至2024年,华为(盘古气象)、Google(GraphCast)等相继发布基于深度学习的大气环流模型,在部分预测任务上达到或超过传统数值天气预报的准确率,且推理速度大幅占优。
7.4 下游应用与中游模型的“天花板依赖”
规模定律框架下的一个关键下游特点是:下游应用层的创新高度和可靠性,根本性地受制于中游基础模型(Foundation Model)的能力天花板。 当基础模型在推理、事实准确性、鲁棒性等方面存在系统性缺陷时,下游应用层的修补(如通过RAG、知识图谱、微调等手段)成本高昂,且效果存在上限。
因此,整个AI产业链在下游变现的节奏,很大程度上取决于中游基础模型能否继续沿Kaplan Scaling Law的预示持续攀升能力曲线。一旦出现“规模收益骤降”(Diminishing Returns at Scale),整个下游的商业化节奏都将受到直接冲击。
8. 受益公司
重要提示:本节仅基于公开信息对产业链各环节受益逻辑进行客观梳理,不构成任何投资建议,不进行“推荐/不推荐”的价值判断,不对任何公司的股价走势作出预测。
8.1 芯片与算力硬件层
NVIDIA(纳斯达克代码:NVDA)
Kaplan Scaling Law框架下最直接和最核心的受益者之一。原因在于无论哪家模型厂商推动计算量上量(C ↑),都需要更多加速芯片。NVIDIA不仅提供硬件(GPU),更重要的是构建了CUDA软件生态和NVLink互联协议,形成了极强的生态锁定效应。
关键公开财务数据:截至2024年1月28日的2024财年,NVIDIA数据中心业务收入475亿美元,同比增长217%(NVIDIA 10-K FY2024,GAAP口径)。截至2024年10月27日的2025财年第三季度单季,数据中心收入308亿美元,同比增长112%(NVIDIA FY25Q3财报,GAAP口径)。
AMD(纳斯达克代码:AMD)
作为NVIDIA最主要的直接竞争者,AMD的MI300X加速器在2024年进入规模供货阶段,定位为AI推理和部分训练场景的替代选择。AMD公开表示其数据中心GPU收入在2024年持续爬坡,并上调了全年收入指引(AMD 2024年Q2和Q3财报电话会摘要信息,GAAP口径)。
其他关键硬件供应商:
- SK海力士与三星电子:HBM3/HBM3E高带宽存储器的主要供应商。SK海力士在AI推动下的HBM出货量激增是其2023至2024年财报中的核心驱动因素。
- 台积电(TSMC):先进制程和CoWoS封装的独家或主要供应商。
- Arista Networks:高速数据中心交换机的关键供应商,受益于AI集群规模扩大带来的网络支出增加。
8.2 云平台与模型服务层
Microsoft(纳斯达克代码:MSFT)
通过深度绑定OpenAI,将GPT系列模型作为Azure云服务的核心吸引力。Azure AI Services在2023至2024年的收入增速连续多个季度超过25%(Microsoft FY24 Q2-Q4财报电话会披露趋势,具体增速口径为公司内部管理口径),AI成为Azure增长的最重要驱动力。
Alphabet / Google(纳斯达克代码:GOOGL)
自研TPU系列芯片(目前为TPU v5p,最新信息截至2024年),训练Gemini系列模型。Google Cloud在AI训练和推理服务的市场份额持续增长。Gemini模型通过Google搜索、YouTube、Workspace等自有产品矩阵渗透,构建了垂直一体化的“芯片-模型-应用”闭环。
Amazon(纳斯达克代码:AMZN)
AWS自研Trainium和Inferentia推理芯片,同时提供Bedrock模型服务。AWS在2024年持续推进SageMaker等平台的AI能力集成,借助其在云计算领域的最大份额将AI能力嵌入企业客户场景。
Meta(纳斯达克代码:META)
虽然不以云服务为主要对外营收来源,但Meta在开源大模型(Llama系列)上的巨额投入,借助开源社区的推动力,实质性地影响了模型层格局。Meta在2024年的资本支出指引大幅上调,核心原因是AI训练和推理基础设施的扩张(Meta FY24 Q1及Q2财报电话会公开信息)。
8.3 中国相关企业(依据公开信息客观梳理)
华为(未上市)
昇腾(Ascend)系列AI芯片(当前为910B,下一代计划公开信息有限)、CANN计算架构和昇思MindSpore框架,构成国产AI基础设施链条的关键一环。华为云同时提供模型即服务(ModelArts),对外输出盘古系列大模型。受芯片出口管制影响,华为在国产替代市场获得显著推动力。公开资料未见其具体AI相关芯片出货量或收入的精确数据。
阿里巴巴集团(NYSE:BABA / 港交所:9988)
阿里云灵骏智算集群搭载含英伟达GPU及自研芯片。通义千问系列模型采取开源开放策略(Qwen系列模型在HuggingFace社区较为活跃),阿里云在“模型+云”的一体化服务上持续布局。2024财年(截至2024年3月31日)阿里云智能集团收入1063.74亿元人民币,同比增长3%,经调整EBITA为61.21亿元(阿里巴巴集团2024财年年报,GAAP及Non-GAAP调整口径)。
百度集团(纳斯达克代码:BIDU / 港交所:9888)
文心一言大模型+昆仑芯片+飞桨(PaddlePaddle)框架。百度智能云在2023至2024年间强调通过文心大模型驱动云收入的增长。百度2024年第一季度财报显示,智能云收入同比增长12%,其中AI相关收入占比持续提升(百度2024Q1财报电话会信息,非GAAP口径)。
8.4 下游应用层的受益者
应用层的商业实体高度碎片化,难以穷举。在通用原则下,无论是已上市还是未上市的AIGC创业公司,其收入增速和用户规模增长的根本驱动力是底层模型能力的提升。因此可以将“受益”理解为:随着Scaling Law继续推动预训练能力上升,下游各类AIGC、自动驾驶、医疗AI等公司在“产品体验更优→更多用户/客户→更优留存和变现”逻辑下获得增长条件。具体数字因公司而异,且多数非上市公司的营收数字为间接推断或媒体非审计报道,在此不作逐家列举。
9. 市场规模
9.1 AI整体市场展望
根据多家第三方研究机构发布的报告,全球人工智能市场规模预计将在2024年至2030年间保持约20%-40%的年复合增长率。不同机构的统计口径和起点年份有所差异:
- Grand View Research(2024年发布,口径“全球AI市场”,含软件、硬件和服务):预计从2024年起以36.6%的复合年增长率增长,2030年市场规模超过1.8万亿美元。
- Bloomberg Intelligence(2023年报告):预计全球生成式AI市场规模在2032年达到约1.3万亿美元,而2022年仅400亿美元(口径为生成式AI直接相关收入)。
- IDC(2023年10月发布):全球AI支出(含软件、硬件和AI相关服务)预测在2027年将超过5000亿美元。
上述数据的统计口径存在差异(部分含硬件和服务,部分仅含生成式AI软件层),引用时需注意区分。
9.2 AI算力基础设施市场(GPU/加速芯片)
Kaplan Scaling Law最直接拉动的是AI训练与推理芯片市场。根据接受度较高的第三方估算:
-
NVIDIA数据中心收入(可作为市场参考锚点):NVIDIA FY2024数据中心收入475亿美元;FY2025(尚未结束)前三季度累计已约812亿美元,按此趋势全年大概率突破1000亿美元(NVIDIA各季财报,GAAP口径)。
-
AMD、Intel及自研芯片:公开数据较分散。AMD预计其2024年数据中心GPU收入将超过45亿美元(AMD 2024年Q3财报电话会的数字指引)。Intel同期相关收入规模较小。Google TPU的资本支出隐含规模在百亿美元量级(基于Google资本开支和公开披露的TPU部署信息综合推断,非官方分项披露)。
综上,2024年全球AI加速器芯片的市场规模(含对外销售和自用)估算在1200-1500亿美元区间(综合各公司财报趋势和行业报告的粗略估算值,来源多样,非精确统计)。
9.3 AI云服务市场
模型训练和推理正成为云计算增长的核心动力。Synergy Research Group(2024年Q1报告)指出,2024年第一季度全球云基础设施服务支出超过760亿美元,同比增长21%,其中AI相关负载的贡献显著提升。具体“AI即服务”(AI-as-a-Service)的细分市场规模尚未形成统一的第三方标准口径。
9.4 训练数据市场
根据MarketsandMarkets(2024年发布)报告的估计,全球AI训练数据集市场规模在2024年约为29亿美元,预计在2029年达到约79亿美元(口径包含文本、图像、音频、视频等各类别训练数据的授权、标注和管理服务)。公开资料未能找到国内训练数据市场的同口径精确规模统计。
9.5 市场增长的核心逻辑与天花板
上述市场预测的共性潜在假设是:Kaplan Scaling Law(及后续修正优化版)继续有效,即投入更多计算资源能持续换取模型性能可感知的提升。若出现长期性的“规模收益停滞”(预训练损失不再随计算量增加而平滑下降),则市场增长曲线将面临根本性修正。因此本节所有市场规模预测均包含这一默认前提。
10. 玩家对比
本段按照“算力控制力”“模型自研能力”“数据规模与渠道”“商业化变现路径”四个维度,对全球主要竞争者进行客观对比。维度遵循行业通常关注的核心竞争力方向,评级使用“领先/较强/中等/追赶”四档,基于公开可验证的信息做定性归类(无量化评分)。
10.1 算力控制力
| 公司 | 算力控制力 | 说明 |
|---|---|---|
| 领先 | 自研TPU系列,不受外部芯片供应短缺约束;自建数据中心规模居全球前列。 | |
| Microsoft | 较强-领先 | 大规模采购NVIDIA GPU,并开始布局自研芯片(Azure Maia 100,2023年宣布);Azure全球基础设施布局广泛。 |
| Amazon | 较强 | 自研Trainium/Inferentia,AWS为全球最大云厂商(按收入口径),资本实力支撑大规模GPU采购。 |
| Meta | 较强 | 2024年资本支出指引大幅上调,公开表明将拥有60万片H100等效算力(Meta官方博文,2024年1月);但高度依赖外部芯片供应商。 |
| NVIDIA | 领先(自身生态) | 自用GPU集群规模不如顶级云大厂,但作为芯片源头,其内部研发集群可被优先满足。 |
| 华为 | 中等-较强 | 昇腾芯片自研,受制程和先进封装的制约较强;但国产替代政策和自给化生态建设形成缓冲。 |
| 百度 | 中等 | 昆仑系列自研芯片在内部场景部分替代,但前沿模型训练仍高度依赖英伟达GPU。 |
10.2 模型自研能力
- 顶尖梯队:OpenAI(GPT-4/o1系列)、Google(Gemini)、Anthropic(Claude)
- 强劲竞争者:Meta(Llama系列,开源路线独树一帜)、Mistral AI(欧洲代表,Mixtral MoE系列)
- 中国第一梯队:阿里巴巴(通义千问)、百度(文心)、华为(盘古)、深度求索(DeepSeek-V2/V3)、智谱AI(GLM系列)等
上述划分基于各模型在MMLU、HumanEval、GSM8K等主流公开基准上的综合表现及论文/技术报告公开信息,不构成精细排序。
10.3 数据规模与渠道
- 消费级数据占有者:Google(搜索、YouTube)、Meta(Facebook、Instagram)、腾讯(微信)等拥有海量用户行为数据,内容生态丰富。
- 企业数据渠道:Microsoft(Office 365、LinkedIn、GitHub)在企业知识库和代码资产上具有独特优势。
- 中国数据特点:中文语料规模和质量在英文之后独占一档,但受限于分割化的生态(微信、抖音等平台的数据不易跨域整合),构建高质量通用中文数据集需付出更多合规和技术努力。
10.4 商业化变现路径
- 卖铲子型:NVIDIA——直接受益于所有玩家的规模竞赛。
- 云服务捆绑型:Microsoft、Google、Amazon——将模型能力嵌入云平台,客户的模型消费即云收入。
- 应用订阅+API型:OpenAI——ChatGPT订阅收入(ChatGPT Plus/Pro/Enterprise)与API调用收入双轨并行。据《The Information》2024年6月报道(援引未具名知情人士),OpenAI 2024年的年化收入在2024年6月已超过34亿美元。官方未公布严格审计口径下的收入确认细节。
- 开源生态推动型:Meta——不直接变现模型授权,但通过提升推荐系统和广告系统