训练芯片

1. 3 秒看懂

训练芯片是专为深度学习训练阶段设计的硬件加速器，核心任务是让千亿甚至万亿参数模型在尽可能短的时间、可控的成本内完成反复迭代。它与推理芯片的根本区别在于必须支撑反向传播与高精度梯度更新，因此对浮点算力、显存带宽与容量、多芯高速互连提出了极端苛刻的要求。

2. 3 分钟产业解释

在深度学习工作流中，“训练”是在海量数据上反复调整神经网络权重的过程，包含前向计算、损失计算、反向传播和权重更新。这要求硬件同时具备：

• 高吞吐矩阵计算：处理大规模张量乘加运算，通常以每秒浮点运算次数（TFLOPS/PFLOPS）衡量。
• 庞大的近存子系统：模型参数、梯度、优化器状态和中间激活必须全部驻留在靠近计算单元的高速内存中，频繁读写，对容量和带宽要求远超通用计算。
• 极致的横向扩展：单颗芯片的算力和内存远不够用，需数千乃至数万颗芯片协同工作，这对片上与片间互连的带宽、延时以及分布式训练软件栈的并行效率构成巨大挑战。

因此，训练芯片的设计、制造与部署是整个AI产业链中技术壁垒最厚的环节，直接决定了一个机构训练前沿大模型的能力上限。当前全球训练芯片市场呈现高度集中、供给紧缺、技术迭代极快的特征，并深度绑定制程工艺、HBM（高带宽存储器）和先进封装产能。

3. 技术原理

深度学习的训练过程是一个通过梯度下降求解优化问题的迭代过程。训练芯片的架构即围绕这个计算图展开。

1. 核心计算模式
训练任务中，超过90%的浮点运算集中于全连接层和卷积层的矩阵乘法（GEMM）以及注意力机制的大矩阵乘法。因此，现代训练芯片的计算架构本质上是一个GEMM加速引擎——无论GPU的张量核心（Tensor Core），还是Google TPU的脉动阵列，都是为高效执行 A \times B + C 而设计。

2. 混合精度训练机制
为提升吞吐并节省内存，业界普遍采用自动混合精度训练。前向和反向传播使用速度更快的低精度格式（如BF16/FP16），但同步维护一份FP32权重主副本以保证数值稳定性。梯度计算完成后，低精度梯度被转换为FP32，用于更新主副本权重。NVIDIA自A100起在Tensor Core中引入对TF32、BF16、FP8的硬件支持，Google TPU v5p则在BF16和INT8之外加入对FP8的原生支持，这些均为混合精度训练提供了关键硬件支撑（来源：NVIDIA A100白皮书、Google Cloud TPU文档）。

3. 分布式训练的通信模型
大规模训练必须依靠多种并行策略的组合：

• 数据并行：每张卡持有完整模型副本，切分数据。反向传播后，所有卡上的梯度需通过AllReduce进行全局平均，对多卡互连带宽有持续高需求。
• 张量并行：将单层内的权重矩阵切分到多卡并行计算，中间激活需要实时在卡间交换，通常涉及AllReduce/ReduceScatter操作，对带宽和延迟极其敏感，一般都部署在高速域内互连（如NVLink）上。
• 流水线并行：按层将模型切分成多个阶段放在不同卡上，数据像流水线一样传递。激活与梯度通过点对点传输，相对张量并行的通信量较小，但负载均衡和气泡问题需要精细调度。
• 专家混合（MoE）并行：路由机制决定每个token仅激活部分专家，引发非规则的All-to-All通信，对互连的全局带宽和低延迟提出额外挑战（DeepSpeed-MoE, 2022）。

4. 存储与计算的平衡
训练面临严重的“存储墙”：以千亿参数模型为例，仅BF16参数就占约200GB，加上梯度、动量、方差等优化器状态（如Adam所需）以及中间激活，总内存需求轻松超过1TB。为缓解内存压力，常采用激活重计算（Checkpointing），抛掉部分中间激活，在反向传播时从上一个检查点快速重算，本质是以计算换内存。NVIDIA A100的80GB HBM2e与H100的80GB HBM3正是在这一约束下连续提升容量，而H200进一步将容量推至141GB HBM3e，以容纳更大模型或更多激活（来源：NVIDIA官网）。

5. 通信计算的协同
在实际集群中，计算卡之间还需通过节点间网络（如InfiniBand NDR400、以太网RoCEv2）传输聚合后的梯度。AllReduce环状算法将梯度分块后，沿环逐步汇聚，最终每张卡获得完整累加结果。通信与计算的重叠程度、集合通信库（如NCCL、RCCL）的效率，直接决定大规模缩放时的额外开销。

4. 关键参数

评价训练芯片不能单看纸面算力，需从多个维度综合衡量。

• 峰值算力（Peak Throughput）
  以特定精度（BF16/FP8/FP16）下的理论每秒浮点运算次数表示，是“纸面速度”上限。例：NVIDIA H100 SXM标称BF16 Tensor Core算力为1979 TFLOPS（来源：NVIDIA 2023官方规格）。实际负载中持续利用率通常远低于此。

• 内存带宽（Memory Bandwidth）与容量
  决定数据能多快送入计算核心，以及能容下多大模型与数据。H100 SXM配备80GB HBM3，带宽3.35 TB/s；H200增至141GB HBM3e，带宽4.8 TB/s（来源：NVIDIA 2023）。AMD MI300X则以192GB HBM3、5.3 TB/s的带宽吸引大模型训练客户（来源：AMD 2023）。

• 互连带宽
  片间高速链路的单链路带宽×链路数量决定域内扩展效率。NVIDIA NVLink 4.0提供900 GB/s的GPU间双向带宽，NVSwitch可实现服务器内所有GPU全互联。域间则主要依赖InfiniBand或以太网，单端口400/800 Gbps逐步普及（来源：NVIDIA NVLink白皮书）。

• 实际训练性能（Real-world Performance）
  用代表性模型（如GPT-3 175B）测量每步耗时或每秒处理token数。MLPerf Training基准测试提供了不同厂商平台在固定任务上的可比成绩。例如，MLPerf Training 3.1结果中，NVIDIA H100集群在GPT-3 175B任务上大幅领先上一代A100（来源：MLCommons 2023）。此类测试更能反映系统级能力。

• 线性扩展效率（Scaling Efficiency）
  当GPU数量成倍增加时，实际训练速度的提升比例。在千卡甚至万卡规模下，通常难以维持理想的线性加速，通信开销和负载不均衡是主因。当前头部集群在GPT-3级别模型上可实现的扩展效率约在85%–95%之间（来源：Meta OPT-175B技术报告、NVIDIA NeMo Megatron框架公开信息）。

• 软件生态效率
  框架兼容性、编译器优化、算子库覆盖率最终体现为硬件对计算图的执行效率。CUDA生态的成熟度使得NVIDIA GPU的实际利用率可达50%–70%；而部分自研ASIC由于软件栈尚不完善，利用率可能不足30%，这直接影响TCO（总拥有成本）模型。

*注：以上具体数值来自各公司官方公布的产品规格或MLCommons公开结果，未标明来源处为行业定性共识。

5. 技术路线

当前训练芯片存在多条技术路线，各有侧重。

GPU路线之所以主导市场，不仅因其硬件迭代快，更因CUDA生态积累了超过300万开发者和数百个预训练模型，形成深厚的护城河。NVIDIA Hopper架构（H100/H200）支持Transformer Engine，在FP8精度下实现性能再提升。

DSA/TPU类的极致优化带来效率优势。Google TPU v5p的BF16峰值算力达459 TFLOPS（单芯片），并通过光电路交换机（OCS）实现灵活拓扑，可构建4096颗TPU的Pod（来源：Google Cloud 2023）。Amazon Trainium2则主打性价比和与AWS Neuron SDK的深度集成，标称单芯片BF16算力约830 TFLOPS（来源：AWS re:Invent 2023）。

初创路线的挑战在于同时跨越硬件设计、HBM供给、先进封装和软件生态四大门槛。公开资料显示，多数创业公司聚焦稀疏训练、存算一体等细分创新，尚未在大模型主训练集群中形成规模替代。

6. 上游

训练芯片的上游涵盖设计工具、核心IP、制造与封装、存储等多个高壁垒环节。

• 设计IP与EDA
  高速SerDes、HBM PHY、PCIe/CXL控制器、片间互连IP（如NVIDIA NVLink授权或自研）等决定芯片的互联能力。EDA工具供应商Synopsys、Cadence提供关键的设计验证和2.5D/3D封装设计支持（来源：公司官网）。

• 制造与封装

  • 逻辑制程：训练芯片计算核心需要最先进制程以提升能效。2023–2024年，NVIDIA H100/B200、AMD MI300X、Intel Gaudi 3均采用或计划采用台积电4nm/5nm类工艺（来源：台积电技术研讨会公开信息）。自研ASIC如Google TPU v5p同样依赖台积电先进制程。
  • 先进封装：整合逻辑核心与HBM的2.5D封装（如台积电CoWoS-S/R/L、英特尔EMIB）成为产能瓶颈。据台积电2023年Q3法说会，CoWoS产能持续扩增，但2024年仍供不应求。
  • HBM：当前HBM3/HBM3e主要由SK海力士和三星供应，美光亦在追赶。据TrendForce（2024年Q1）数据，SK海力士占据HBM市场约50%份额，三星约40%，美光约10%。HBM的产能和热性能直接限制训练芯片的出货与规格。

• 互连与网络设备
  节点间网络依赖高速交换机、光模块、DAC/ACC线缆。InfiniBand市场由NVIDIA Mellanox主导；以太网侧，博通、Marvell提供800G交换机芯片，光模块主力供应商包括中际旭创、Coherent等（来源：LightCounting 2024报告）。

• 功率与散热
  单颗训练芯片的热设计功耗（TDP）从A100的400W升至H100的700W，GB200甚至超1000W（来源：NVIDIA）。液冷方案（直接芯片液冷或浸没式）从可选项变为大规模集群的标配，带动冷板、CDU、快接头等上游产业链。

7. 下游

训练芯片的下游客户高度集中，以超大规模云服务商、头部AI实验室和国家超算中心为主。

• 云计算服务商
  亚马逊AWS、微软Azure、谷歌云、甲骨文云等通过购买训练芯片构建训练集群，以“训练即服务”（Training as a Service）的方式提供给广大企业客户。据Omdia 2023年估算，微软和Meta是NVIDIA H100的最大买家之一，分别采购超过15万块（来源：Omdia 2023；具体数字系估算区间，未获公司直接确认）。Google虽大量使用自研TPU，但也在部分云场景采购外部GPU。

• 前沿AI实验室与大型科技公司
  OpenAI、Anthropic、Meta、xAI、DeepMind等专注于前沿模型训练的机构，通常直接大规模部署训练芯片。Meta于2022年上线的AI Research SuperCluster（RSC）内含6080块NVIDIA A100（来源：Meta 2022年博客），其2024年公布的两座24000块H100集群更显示了超万卡集成的决心。

• 国家/超算中心
  各个国家的新一代超级计算机普遍搭载训练芯片用于科学计算和AI。例如，美国的Frontier使用AMD Instinct MI250X，欧洲的LUMI同样基于AMD GPU。日本ABCI 3.0计划采用NVIDIA GPU。这些中心驱动部分训练需求，同时作为技术验证平台。

• 二线云与企业私域部署
  金融、电信、医疗等领域的企业开始自建小型训练集群用于垂直模型微调。但规模远小于头部云厂商，采购议价能力较弱，更多通过服务器OEM（如Dell、Supermicro、浪潮信息）获取。

8. 受益公司

训练芯片的需求扩张直接拉动了从芯片设计、存储到封装测试等多个环节的公司业绩。以下列出各环节典型受益主体及公开数据（注明数据来源与年份，无法获取者注明“公开资料未见”）。

• 芯片设计与销售

  • NVIDIA：数据中心业务收入FY2024（截至2024年1月）达475亿美元，同比增长217%。其中绝大部分来自训练和推理GPU（来源：NVIDIA FY2024年报）。
  • AMD：数据中心GPU收入2024年Q1约4亿美元，全年指引上调至逾40亿美元，主要受Instinct MI300X训练和推理需求驱动（来源：AMD 2024Q1财报电话会）。
  • 自研ASIC服务商：博通为Google TPU提供ASIC设计服务，据分析师估算，2023财年AI相关定制芯片收入约占其半导体收入的10%–15%（来源：Mizuho Securities 2023年研报）。Marvell则参与Amazon Trainium等定制项目。

• HBM供应商
  SK海力士率先量产HBM3e，并在2024年3月开始向NVIDIA供货；三星电子HBM3通过NVIDIA认证并预计2024年Q2量产HBM3e；美光HBM3e也进入送样阶段（来源：公司官方新闻稿）。HBM的高单价令存储厂营收结构大幅改善，以SK海力士为例，2023年Q4 DRAM业务营业利润转正，HBM贡献显著（来源：SK海力士2023Q4财报）。

• 封装与测试
  台积电的CoWoS封装产能是训练芯片供给的关键瓶颈。据台积电2024年Q1法说会，2024年CoWoS产能将同比翻倍以上，仍无法完全满足需求。日月光、安靠等在先进封装上亦在积极扩产，承担部分外包封装需求。联发科、GUC（创意电子）等提供封装设计服务。

• 网络设备
  训练集群对800G光模块和高带宽交换机的需求急速膨胀。据LightCounting预测，2024年800G光模块出货量将超过1000万只，主要由AI集群驱动（来源：LightCounting 2024年1月报告）。NVIDIA Mellanox InfiniBand交换机/网卡继续在该领域维持主导。

• 服务器/系统集成
  工业富联、广达、Supermicro等成为AI服务器的主要组装商，直接受益于训练芯片出货增加。据TrendForce 2024年1月新闻稿，2024年全球AI服务器出货量预计同比增长约40%，其中训练服务器占比较高。

*注：以上涉及营收预测或外部估算数据均来自已公开的研究报告或公司指引，不构成任何投资或交易建议。

9. 市场规模

训练芯片市场处于高速扩张期，各机构口径略有差异，但均指向爆发式增长。

• GPU及AI加速器总体市场：据IDC 2023年12月发布的报告，2023年全球AI加速器市场（含训练和推理）约450亿美元，预期到2027年超过1500亿美元，年复合增长率约35%。其中训练市场占据相当比例。
• 专用于训练的芯片销售额：由于多数训练芯片同时可用于推理，严格区分训练和推理的市场规模较难统计。据Omdia 2023年的估算，仅NVIDIA的数据中心GPU中，训练相关销售额占比约60%–70%（来源：Omdia 2023报告）。据此推算，2023年NVIDIA训练相关收入约300亿美元。加上AMD、自研ASIC等，全球训练芯片市场2023年总额约350亿–400亿美元（估算口径）。
• 台积电先进封装产能映射：台积电2023年CoWoS产能约为每月1.2万片12英寸等效晶圆，2024年预计扩至2.5万片以上（来源：台积电2023Q4法说会、供应链媒体Digitimes报道）。每片晶圆可切割的训练芯片数量取决于芯片面积，大致可推算训练芯片的年出货量在数百万颗级别。
• 中国训练芯片市场：受出口管制影响，中国本土训练芯片市场正经历替代加速。据IDC中国2024年报告，2024年中国AI芯片市场（含训练和推理）预计规模约85亿美元，其中训练芯片占比约40%，华为昇腾、寒武纪、海光信息等为主要供应方（来源：IDC中国 2024Q1 AI芯片跟踪报告，具体数字为综合多方推估，官方精确值公开资料未见）。

公开资料未见全球训练芯片市场单一权威性年销售额统计，各方数据可能存在重复计算和口径差异，以上数字仅作参考。

10. 玩家对比

训练芯片的主要参与者可分为三大阵营：GPU双雄、自研ASIC巨头、以及中国本土与新锐创企。

（1）NVIDIA – 训练生态的基石

• 代表产品：H100、H200、B200（Blackwell）。
• 架构优势：第四代Tensor Core支持FP8 Transformer Engine，NVLink 4.0加上NVSwitch实现高带宽域内互联，InfiniBand Networking端到端掌控。
• 生态壁垒：CUDA、cuDNN、NCCL、NeMo Megatron框架形成完整闭环，MLPerf Training持续霸榜。
• 市场地位：据Mercury Research 2024Q1报告，在数据中心独立GPU领域，NVIDIA市占率约92%–95%（出货量与销售额口径均主导，来源：Mercury Research 2024年5月）。

（2）AMD – 开放路线的追赶者

• 代表产品：Instinct MI300X。
• 架构特点：基于CDNA 3架构，内存容量和带宽大幅领先同期NVIDIA产品（192GB HBM3，5.3TB/s）。
• 生态策略：以开源ROCm软件栈对抗CUDA，PyTorch对ROCm的支持已较成熟，但算子覆盖率和优化深度仍逊于CUDA。
• 市场进展：2024年AMD预计数据中心GPU收入超40亿美元，与Microsoft、Meta等头部客户深度合作，逐步进入大规模训练集群（来源：AMD 2024Q1财报电话会）。

（3）自研ASIC阵营

• Google TPU：已迭代至v5p，单芯片BF16算力459 TFLOPS，4096颗TPU v5p的Pod可提供超百EFLOPS算力，专为内部Gemini模型和Cloud TPU服务优化，不对外售卖芯片（来源：Google Cloud 2023）。
• Amazon Trainium2：标称BF16算力约830 TFLOPS，32颗芯片组成Trainium2服务器，与AWS Neuron SDK深度集成，主打大模型训练的性价比并减少对NVIDIA依赖（来源：AWS re:Invent 2023）。
• Meta MTIA：第一代仅用于推理，2024年公开的下一代MTIA据说将支持训练，但具体架构和规模尚未披露（来源：Meta 2024年工程博客，无详细规格）。
• 微软Maia：2023年发布的Maia 100专为Azure OpenAI等内部训练和推理工作负载打造，由台积电5nm工艺制造，微软计划2024年内部部署（来源：Microsoft Ignite 2023）。

（4）中国本土与新兴创企

• 华为昇腾：Atlas 900集群基于昇腾910系列，已用于国内多个大模型训练，被列为部分国产化替代方案。受制程限制，910B的BF16算力约为NVIDIA A100的80%左右（来源：科大讯飞等公开披露的可行替代性描述，无官方直接对比数据）。
• 寒武纪：思元系列（MLU）针对训练和推理，但在大模型训练集群中的部署规模公开资料未见详细数据。
• 其他创企：Cerebras、Graphcore、SambaNova等通过晶圆级集成或特定数据流架构寻求差异化，但在主流大模型训练中的市占率极低，多用于个性化场景和概念验证。

*注：市占率与算力数字均源自上文标注的第三方报告或公司官方，仅用于客观比较，不代表任何投资建议。

11. 风险

训练芯片产业面临多重结构性风险。

• 供应链集中度过高
  先进制程几乎完全依赖台积电，HBM供应集中在SK海力士和三星，先进封装产能同样被少数厂商把持。任何地缘冲突、自然灾害或产能规划失误都可能导致全行业供给中断。

• 内存与功耗墙
  模型参数增长远超芯片内存提升速度，HBM容量与带宽几乎是线性提升，但模型所需内存呈超线性增长。同时，单芯片TDP突破1000W后，供电和散热挑战陡增，可能触及数据中心基础设施极限。

• 软件生态锁定与迁移成本
  CUDA生态形成强烈的路径依赖，企业若转投其他硬件，需承担算子移植、调试、性能调优等大量工程成本。这使新进入者即便硬件参数占优，也难以短时间赢得客户。

• 出口管制与地缘政治
  美国对高端训练芯片和制造设备的出口管制持续加码，不仅影响中国客户获取最先进芯片，也迫使中国加速自研替代，引发全球训练芯片市场分裂为“两个平行市场”的风险。这可能导致重复投资和生态碎片化。

• 泡沫与需求波动
  当前训练芯片需求有相当部分来自对AGI（通用人工智能）前景的长期押注和资本开支驱动，若大模型商业变现速度不及预期，云厂商可能削减资本开支，导致训练芯片订单快速下滑。

• 技术路线押注风险
  若未来出现颠覆性的训练算法（如前向-前向训练、梯度无关优化等），大幅降低对反向传播和高精度矩阵乘法的依赖，现有训练芯片的架构优势可能被削弱。

12. 误读纠偏

• 误读1：“推理芯片可以当训练芯片用，反之亦然。”
  纠偏：训练芯片必须支撑完整的反向图传播和高精度状态累积，其内存子系统设计、算力精度支持远高于典型的推理芯片。用推理芯片强行做训练，或者用训练芯片做轻量推理，都会导致严重的性价比和能效错配。少数芯片（如NVIDIA H100）设计上兼具训练和推理能力，但这是通过在同一架构下为不同任务优化，并非表示所有训练与推理芯片可以简单互换。

• 误读2：“模型参数规模的单位字节数就是训练所需内存。”
  纠偏：混合精度训练中，内存除存放参数外，还要同时容纳梯度、优化器状态（如Adam的动量与方差），通常为参数体积的3–4倍，再加上中间激活。千亿参数模型往往需要TB级内存，远非模型文件200GB可以覆盖。仅因为能把模型塞进显存，不代表能够顺利进行甚至高效完成训练。

• 误读3：“峰值算力越高，训练一定越快。”
  纠偏：实际训练吞吐受限于内存带宽、通信带宽和软件效率。许多自称高算力的加速器由于内存带宽不足或算子生态不完善，在实际负载中利用率极低，最终训练速度远不如理论值。评估时应优先看MLPerf等基准成绩而非标称TFLOPS。

• 误读4：“自研训练芯片一定能降低整体成本。”
  纠偏：自研ASIC的NRE（一次性工程费用）、软件栈开发和维护成本极高，仅有在其训练规模足够大、能够摊薄前期投入时，TCO才可能优于采购通用GPU。对于年训练需求不足数万卡规模的厂商，自研经济性存疑。

13. 最新事件

（本节所述事件时间截至2024年Q2，来源为公开新闻报道和公司官方公告。）

• NVIDIA Blackwell平台发布（2024年3月GTC）：全新Blackwell架构B200 GPU配备192GB HBM3e，NVLink 5.0带宽达1.8TB/s，并推出72颗GPU组成的GB200 NVL72机架级系统，旨在将万亿参数模型的训练和推理推向新阶段（来源：NVIDIA新闻室）。
• AMD MI300X大规模部署（2024年）：微软Azure首批MI300X实例上线，用于GPT-4级别模型的推理和部分训练；Meta也宣布将MI300X用于大模型推理和部分训练负载（来源：AMD 2024Q1财报电话会、Microsoft Azure博客）。
• 台积电CoWoS产能持续告急（2024年Q1）：台积电总裁魏哲家在法说会上表示，尽管2024年CoWoS产能较2023年倍增，仍无法满足客户需求，部分订单排至2025年，并持续在龙潭、竹南、中科等地扩产（来源：台积电2024年1月法说会记录）。
• 美国更新出口管制（2023年10月及后续调整）：美国商务部工业安全局（BIS）进一步限制高性能训练芯片出口至中国，涉及总处理性能（TPP）和性能密度阈值。NVIDIA特供版H20等性能大幅缩减。这加速了华为昇腾等替代方案在国内的部署。
• Google TPU v5p上线（2023年12月）：通过Google Cloud向外部提供，支持高达4096芯片的Pod，主打大模型训练和科学计算，被认为是NVIDIA H100的强力替代（来源：Google Cloud博客）。
• 特大集群成为常态：Meta于2024年3月宣布正训练Llama 3，使用两个各含24,576块H100的集群；xAI的Colossus集群据称已部署10万块H100（来源：Elon Musk X平台言论，规模未完全证实）。
• CXL与内存池化进行中：部分厂商尝试用CXL（Compute Express Link）内存扩展卡扩大训练可见的容量，但当前延迟和带宽限制使其仅适用于冷数据卸载，尚不能根本解决内存墙。

14. 跟踪指标

要持续洞察训练芯片产业动态，应定期跟踪以下公开指标和数据源。

*注：以上所有具体数字在文章中均未直接预测，只是说明信息获取渠道。

15. 信源

为撰写本文所参考的关键资料与常用信息源梳理如下，均以公开可获取为原则，不包含付费终端独有数据。

• NVIDIA：官方技术白皮书（Ampere、Hopper、Blackwell）、GTC主题演讲幻灯片、季度财报、博客。
• AMD：Instinct MI300X技术资料、ROCm文档、季度财报。
• Google Cloud：TPU系统架构论文（ISCA 2017等）、Cloud TPU用户指南、官方博客。
• AWS：Trainium/Inferentia相关技术文档和re:Invent主题演讲。
• Meta：AI硬件和集群建设工程博客。
• MLCommons：MLPerf Training基准测试结果。
• 第三方市场研究机构：Omdia（云和AI基础设施）、IDC（全球AI加速器追踪）、TrendForce（存储与封装）、Mercury Research（GPU出货）、LightCounting（光模块）。
• 学术与系统会议：MLSys、NeurIPS（系统方向）、ISCA、HPCA、SC。
• 关键论文：Attention Is All You Need、Megatron-LM系列、ZeRO优化器系列、DeepSpeed-MoE、Efficient Large-Scale Language Model Training on GPU Clusters（NVIDIA NeMo Megatron论文）。
• 公司官方披露：台积电、SK海力士、三星电子、Intel等季报与法说会纪要。
• 法规机关：美国联邦公报（BIS出口管制规则）。

*由于训练芯片产业变化极快，所有市场数据和公司业绩建议查询最新一期官方财报或权威第三方最新报告。本文撰写时以2024年Q2为时间节点综述，具体数字请以原始来源为准。