吞吐

3秒看懂

吞吐（Throughput）是衡量深度学习系统单位时间内完成有效工作量的综合能力指标。在训练场景，通常指每秒处理的训练样本数或Token数；在推理场景，指每秒完成的推理请求数或生成的Token数。它直接关联算力真实利用率、系统总拥有成本（TCO）和模型上线时效，是AI基础设施选型与算法-系统协同优化的核心目标。吞吐不等于理论峰值算力，它衡量的是“实际产出/时间”，而非“最大可能运算次数/时间”。

3分钟产业解释

在深度学习产业中，吞吐往往比纸面算力更能反映资本支出转化为业务回报的效率。模型训练或推理服务都在限定时间内追求最大化产出：训练侧期望以更短“墙钟时间”完成大规模模型收敛，推理侧期望单张加速卡或单节点支撑更高并发量。

产业界聚焦吞吐的动因有三：

• 成本效率（TCO驱动）：更高吞吐意味着相同算力采购能产出更多训练进度或服务更多请求，直接拉低单位产出成本。实例层面，单卡推理吞吐加倍，等价于支撑相同并发量时硬件投入减半。
• 规模瓶颈识别：大模型训练需数千乃至数万张加速卡并行，通信拓扑、I/O带宽、重计算策略均可能成为吞吐瓶颈，而非仅受限于计算核心数量。定位并移除这类瓶颈是基础设施投资的关键任务。
• 服务质量锚定：对于实时推理服务（如对话AI、代码助手、推荐系统），吞吐直接决定系统可支撑的峰值QPS（每秒查询数），关系到P99延迟能否满足SLA（服务等级协议）及用户体验。

业界普遍采用“延迟约束下的吞吐最大化”范式进行调优——单方面推高吞吐可能导致单次请求延迟失控，因此优化目标是在给定延迟上限（如首个Token生成时间<200ms）内实现最大化吞吐。

技术原理

深度学习系统吞吐的本质是流水线各阶段的平衡与利用率最大化。以下为典型单卡训练流水线抽象示意（不绑定具体硬件型号，仅展示数据流向）：

  CPU                     GPU显存              GPU计算单元
   │                        │                     │
   ├─(1)数据加载───────────►│                     │
   │                        │                     │
   │                        ├─(2)输入张量─────────►│
   │                        │                     │
   │                        │                     ├─(3)矩阵乘/卷积等
   │                        │                     │   ├─ 算子1
   │                        │                     │   ├─ 算子2
   │                        │                     │   └─ ...
   │                        │                     │
   │                        │◄──(4)损失/梯度──────┤
   │                        │                     │
   │                        ├─(5)优化器更新───────►│
   │                        │                     │
   ◄───(6)下一个batch───────┤                     │

实际系统中步骤（1）至（6）以多线程/多卡流水线方式异步重叠执行。吞吐优化的核心是消除“气泡”——即任一阶段因数据未就绪而空闲的时段。关键调控参数包括：

• Batch size（批大小）：每次优化步处理的样本数。增大batch size可摊薄数据加载启动和跨卡通信开销，从而提升吞吐，但受限于显存容量与优化器收敛特性（过大batch可能需调整学习率甚至影响最终模型质量）。
• Micro-batch size（微批大小）：在流水线并行中，将mini-batch切分为更小的micro-batch依次注入流水线，以减少流水线启动和排空阶段产生的空闲气泡。
• 梯度累积：显存不足无法直接使用大batch时，可通过多次前向/后向传播累积梯度后，再执行一次优化器参数更新，模拟大batch训练效果，但会引入额外计算开销。
• 算子执行效率与计算单元占有率：张量核心利用率、流式多处理器（SM）占用率、线程束（Warp）调度效率等微观参数，决定每个计算步骤的耗时下限。
• 算术强度与Roofline模型：低算术强度算子（如逐元素激活函数、LayerNorm）吞吐受限于显存带宽；高算术强度算子（大矩阵乘法）吞吐受限于计算峰值。优化方向是减少低强度算子占比或通过算子融合提升总有效算术强度。

分布式场景下，吞吐受计算、通信、I/O三者的瓶颈制约，定性模型可表述为：

实际训练吞吐 ≈ min(单卡计算吞吐×扩展效率，有效通信带宽/每步通信数据量，I/O带宽/每步数据量)

该模型虽无法线性量化（因各阶段可部分重叠），但清晰指明了瓶颈定位方向：当吞吐不随计算卡数线性增长时，需排查通信开销或数据供给能力。

推理吞吐的技术侧重点不同：生成式模型的推理吞吐受“内存墙”制约特别显著。每次生成Token时需读取之前Token的键值缓存，当并发请求增多，KV缓存总量可能超出显存容量，倒逼系统进行内存交换或重算，从而使吞吐骤降。PagedAttention等虚拟内存式显存管理技术为此而生，以算法创新提升显存利用率和吞吐。

关键参数

衡量深度学习系统吞吐的核心参数分为训练侧、推理侧和系统效率三大类：

训练侧：

• 训练吞吐量（samples/sec, tokens/sec, steps/sec）：最直观的产出度量。大语言模型训练常用tokens/sec，视觉模型常用samples/sec。
• 模型FLOPS利用率（MFU, Model FLOPS Utilization）：实际吞吐对应的每秒浮点运算量÷硬件理论峰值FLOPS。综合反映计算核心利用率、通信开销、重计算损耗等因素。大模型训练的MFU通常在30%–60%区间（行业定性经验，非特定厂商基准数据），部分极度优化的工作负载可超60%。
• 通信带宽与集合通信算法带宽：可通过NCCL测试等基准获取单向/双向总线带宽及AllReduce等集体通信的实际算法带宽，用于评估通信子系统是否构成瓶颈。
• 扩展效率（Scaling Efficiency）：N卡实际吞吐÷（单卡吞吐×N），衡量多卡并行带来的吞吐增益是否线性。低于90%通常暗示通信或负载不均衡问题。

推理侧：

• 请求吞吐量（QPS, queries per second）：实时推理服务最常用的业务侧指标。
• Token生成速率（tokens/sec）：大语言模型推理场景的主要度量，包含首Token延迟与后续每Token生成吞吐的区分。
• 吞吐-延迟乘积（TPOT, Throughput–Per-Output-Token latency，或等效综合指标）：在给定延迟SLO下能达到的最大吞吐，或者吞吐与中位延迟的比值，用于公平对比不同推理方案的综合性能。

数据供给侧：

• 数据管道吞吐（samples/sec 经由数据加载器）：数据预处理、解码、增广流水线每秒能供给GPU的样本次数。一旦该值小于训练消耗吞吐，GPU将出现空等（饥饿），整体吞吐以数据管道吞吐为上限。

公共约定：所有吞吐数值需标注测试硬件型号、软件版本、batch size、精度（FP32/FP16/BF16/INT8等）、模型规格以及是否开启梯度累积/算子融合等优化，否则不同来源的吞吐数据缺乏可比性。

技术路线

深度学习吞吐优化的技术演进沿着“单卡→多卡→万卡”和“训练→推理”两条轴线展开，核心路线如下：

1. 梯度同步范式（2015–2019，数据并行主导）

• 代表：PyTorch DistributedDataParallel（DDP）、Horovod。
• 技术特征：每卡持有完整模型副本，数据分片独立前向/后向传播，梯度通过AllReduce同步。NCCL库提供Ring、Tree等算法实现高带宽通信。
• 吞吐逻辑：增卡摊薄计算，但同步开销随卡数增加。适用于中等规模模型（参数<10亿量级）和数百卡集群。

2. 显存卸载与状态分片（2020–2022，ZeRO路线）

• 代表：DeepSpeed ZeRO-1/2/3、PyTorch FSDP（Fully Sharded Data Parallel）。
• 技术特征：将优化器状态、梯度和参数分片到各卡，使用时才聚合，以适度增加通信换取显著降低单卡显存占用，允许增大batch size或训练更大模型。
• 吞吐逻辑：显存瓶颈解除后，可在原本无法训练的硬件配置上获得可用吞吐。通常ZeRO-3因参数allgather开销会使单步时间略增，但“可训练性”本身创造吞吐价值。

3. 模型切分与3D并行（2020至今，混合并行主导）

• 代表：Megatron-LM（张量并行TP+流水线并行PP+数据并行DP）、DeepSpeed结合Megatron的3D并行。
• 技术特征：张量并行在算子内切分矩阵乘，依赖高带宽的卡间互联（如NVLink）；流水线并行按层切分，以micro-batch填充流水线；数据并行跨节点扩展。三者叠加实现万卡级训练。
• 吞吐逻辑：3D并行的核心挑战是最小化通信与流水线气泡。适当地配置TP/PP/DP维度和micro-batch大小可实现较接近线性的扩展吞吐。前沿工作如序列并行（Sequence Parallelism）进一步分散LayerNorm和Dropout的激活内存与通信。

4. 推理时编译与量化（2019至今，推理专用线）

• 代表：TensorRT、ONNX Runtime、OpenVINO、Apache TVM。
• 技术特征：图级算子融合、常量折叠、自动精度降级（FP16→INT8→INT4）、内存规划、定制内核调度。将训练好的模型编译为针对特定硬件的优化执行图。
• 吞吐逻辑：减少内存搬运和内核启动次数是提升推理吞吐的核心。量化直接降低访存量和计算量，在硬件支持INT8/INT4推理时，吞吐可较FP16提升2–4倍（定性范围，具体增益因模型与硬件而异）。

5. 生成式推理专用系统（2022至今）

• 代表：vLLM（PagedAttention）、LMDeploy、TensorRT-LLM、SGLang。
• 技术特征：KV缓存虚拟内存化管理、连续批处理（Continuous Batching）、投机采样（Speculative Decoding）、FlashAttention系列定制注意力内核。
• 吞吐逻辑：直接解决大模型推理的显存碎片化和空闲等待问题。连续批处理允许新请求在正在进行的迭代中即时加入，大幅提升GPU占用率；PagedAttention将KV缓存从整块预分配变为按“页”动态分配，接近消除显存浪费。

路线对比（定性，无具体厂商数值）：

上游

吞吐能力的物理上限由上游硬件和基础软件共同决定：

半导体与硬件层：

• 加速计算芯片：GPU（NVIDIA H100/B200系列、AMD Instinct MI300系列）、TPU、NPU（华为昇腾等）。核心吞吐指标包括理论峰值FLOPS（FP16/BF16/FP8/INT8等不同精度）、张量核心架构代数、片上缓存层次与带宽。以NVIDIA H100（2022年发布，SXM规格）为例，FP16 Tensor Core峰值约1979 TFLOPS（NVIDIA官方数据）；AMD MI300X（2023年发布）FP16峰值约1300 TFLOPS（AMD官方数据）。不同精度下的吞吐上限差异显著，是硬件选型首要参数。
• 高带宽内存（HBM）：HBM2e、HBM3、HBM3e持续提升容量（每栈24GB→36GB→更大）与带宽（每TB/s量级提升）。HBM带宽直接决定算术强度较低算子的吞吐上限，是推理吞吐的硬约束。先进封装（如台积电CoWoS-S/R/L、英特尔EMIB）实现逻辑芯片与HBM的高密度互联，片间带宽对张量并行的通信效率至关重要。
• 片间与节点间互联：NVLink（第四/第五代）、NVSwitch、PCIe 5.0/6.0决定单机内多卡通信带宽。以NVIDIA NVLink第四代（H100）为例，单GPU提供900GB/s的片间总带宽（NVIDIA规格书）。节点间通信依赖InfiniBand NDR/XDR（400Gbps/端口）或以太网RoCE v2。超带宽交换机（如NVIDIA Quantum-2/3系列）和拓扑架构（如Fat-Tree、DragonFly+）决定万卡集群的混合并行吞吐天花板。
• 其他：服务器主板PCIe链路数量与拓扑、网络适配器卸载引擎、NVIDIA BlueField DPU等辅助通信处理器，均间接影响吞吐可用性。

基础软件与固件层：

• CUDA与驱动：CUDA版本、驱动版本决定了可用的算子库特性与编译优化程度。GPU固件调度器影响流多处理器指令发射效率。
• 通信中间件：NVIDIA NCCL（集合通信库）持续迭代Ring/Tree/Net算法，支持GPUDirect RDMA绕过CPU内存实现卡间直接数据搬移，是维持多卡吞吐扩展的关键。AMD RCCL对标NCCL，稳定性与优化程度仍处于追赶期（公开资料未见其与NCCL在同等规模集群下的同步效率基准）。
• 编译器后端：PTX/SASS（NVIDIA）或ROCm对应层级生成实际机器指令。该层优化影响计算吞吐的实现程度。

下游

吞吐能力通过中游系统栈最终服务于实际应用层：

中游分布式训练框架与库：

• PyTorch Distributed、TensorFlow、JAX分布式API，集成了上述数据并行、模型并行等策略的原语。
• 训练库：Megatron-LM（张量+流水线并行参考实现）、DeepSpeed（ZeRO系列优化与混合并行调度）、Colossal-AI（异构并行优化）。它们向上层开发者屏蔽具体的通信策略和内存管理，通过少量配置参数即可影响训练吞吐。
• 实验管理：W&B、MLflow等实验追踪工具记录吞吐曲线，辅助排查调优决策。

中游推理引擎：

• 通用编译优化：TensorRT、ONNX Runtime、OpenVINO，提供从模型转换到部署优化的全流程，以算子融合和精度压缩为主要手段。
• 生成式模型专用引擎：vLLM、TensorRT-LLM、LMDeploy、SGLang、llama.cpp，集成PagedAttention、Continuous Batching、量化推理（GPTQ/AWQ）等专用技术，直接决定在线LLM服务可达到的吞吐与成本。

下游应用与服务业态：

• 模型训练即服务（Training as a Service）：云厂商的GPU集群和训练平台（如AWS ParallelCluster、阿里云PAI、华为ModelArts）以训练吞吐和训练总时长为关键SLA指标，吞吐高则交付快、客户费用低。
• 模型即服务（MaaS, Model as a Service）：OpenAI API、Anthropic API、国内百度文心/阿里通义千问等API服务，其定价模型（按Token计费）直接取决于推理系统吞吐。单卡/单节点吞吐越高，单Token成本越低，商业定价空间越大。
• 端侧/边缘侧部署：在手机、PC、汽车等端侧运行大模型（如高通骁龙平台、Apple Neural Engine），受功耗和热约束，推理吞吐是决定离线可用性或端云协同策略的核心参数。

用户侧关心的“服务响应快不快”“费用是否可接受”，底层均由开发者通过吞吐优化策略应对。

受益公司

（本段仅描述与吞吐提升技术路径相关的公开业务联系，不构成投资建议或交易推荐。）

• NVIDIA：全球AI训练与推理吞吐的事实标准制定者。其数据中心GPU（H100/B200等，分别于2022/2024年发布）配合NVLink/NVSwitch、InfiniBand（通过收购Mellanox获得）及CUDA生态（含TensorRT、NCCL），形成计算-通信-编译高度协同的吞吐最大化闭环。NVIDIA FY2024（截至2024年1月）数据中心营收475亿美元（同比增长超200%），受益于大规模集群对高吞吐/高扩展效率的刚性需求（NVIDIA年度财报公开数据）。
• AMD：Instinct MI300X（2023年发布）和ROCm软件栈，面向HPC与AI工作负载，通过高HBM带宽（MI300X提供192GB HBM3、5.3TB/s带宽，AMD官方数据）在推理吞吐指标上对NVIDIA部分产品形成竞争。ROCm生态成熟度和多卡扩展效率是决定其吞吐竞争差异的关键变量。
• 博通（Broadcom）/ Marvell：定制ASIC（如Google TPU、AWS Trainium/Inferentia背后的定制芯片）设计服务商。云巨头通过定制芯片在内部工作负载上实现极致的功率-吞吐比，从而降低对外采购依赖。
• Arista Networks/ Cisco / NVIDIA（Mellanox）：高速以太网交换机与InfiniBand设备供应商。网络端口的带宽密度直接影响万卡集群的RoCE/InfiniBand通信吞吐，是集群线性扩展效率的硬件底座。Arista的多层交换架构在AI集群中被广泛采用。
• 三星电子/ SK海力士/ 美光：HBM3/HBM3e供应商（三星、SK海力士）、HBM封装基板与先进封装产能（台积电CoWoS）。HBM的容量和带宽突破是GPU吞吐持续倍增的物质前提，且近年始终供不应求（TrendForce等多源市调机构数据）。
• 专注推理吞吐的芯片创业公司：如Groq（基于存内计算架构的LPU，宣称大模型推理生成速率远超传统GPU，2024年公开展示后获得大量关注），以及Cerebras（晶圆级引擎WSE-3，2024年发布，为超大规模模型推理提供高吞吐平台）。它们均在特定指标上突破传统GPU的吞吐极限，但生态局限性制约其通用性。
• 公有云厂商：Amazon Web Services（Trainium2/ Inferentia2自研芯片）、微软Azure（Maia AI加速器）、Google Cloud（Cloud TPU v5p）、阿里云（含平头哥含光系列或第三方GPU实例）、华为云（昇腾实例）。它们在自研芯片与第三方GPU间组合，向上交付“吞吐-成本”差异化实例，并以此作为获客与盈利核心杠杆。
• 推理引擎与系统软件提供商：vLLM(UC Berkeley开源、Anyscale商业化支持）、NVIDIA TensorRT-LLM开源优化库、OctoAI（已被AMD收购）等。它们将吞吐优化固化为软件方案，降低应用层开发门槛。公开资料未见这些私营企业的独立营收数据。

市场规模

（注：由于公开的第三方市场研究数据多数不直接以“吞吐优化技术市场”为统计口径，本段综述相关硬件、软件和服务市场的规模，来自多家公开报告交叉引用，尽量标注来源、年份与口径。）

• AI加速器市场规模：据IDC 2024年初报告，2023年全球AI服务器（含GPU、定制ASIC等）市场营收约XX亿美元（IDC Worldwide Quarterly Server Tracker, 2024Q1发布）；其中GPU加速卡市场核心受训练和推理吞吐需求驱动。Futurum Group估计2023年数据中心GPU出货收入超400亿美元，NVIDIA占据约98%份额（Futurum Group，2024年3月博客引用Mercury Research数据）。
• HBM市场：TrendForce（2024年4月报告）估算2024年HBM市场规模约150亿–180亿美元，同比增长超100%，由AI大模型吞吐需求拉动的HBM3/HBM3e出货量爆发。三星与SK海力士占据主要供应份额（TrendForce 2024年Q1与Q2连续报告）。
• 高速网络设备市场：据Dell’Oro Group 2024年1月报告，AI后端网络（用于连接GPU/NPU的训练/推理通信网络）市场预期2027年将达到100亿美元量级，InfiniBand及高速以太网（400G/800G端口）交换机份额竞合，核心驱动是确保万卡集群的通信吞吐与扩展效率。
• AI云服务（MaaS与训练服务）：Synergy Research 2024年Q1报告显示，全球公有云基础设施服务市场（含IaaS和PaaS）季度收入已达760亿美元级别，其中AI workload增速最快，直接拉动GPU实例与模型API的消耗。IDC 2024年初报告保守估计，2027年全球AI平台软件和AI云服务市场规模超1500亿美元（IDC Worldwide AI Platforms Software Forecast, 2024），推理吞吐直接决定模型服务API的盈利模型。
• 中国本土市场：据IDC中国、赛迪顾问等多源数据，2023年中国AI服务器市场规模约80亿–100亿美元量级（具体统计口径因含国产GPU/NPU而异，公开报告存在交叉引用差异），国产AI芯片（华为昇腾、寒武纪等）的占比在政策推动下持续增加，训练吞吐与集群扩展效率是国产替代进度核心衡量标准。公开资料未见统一的“吞吐优化软件与服务”单独市场统计。

（以上来源均为行业分析机构公开摘要数据，具体数值因付费报告壁垒可能存在不同版本差异，引述仅为提供量级参考。）

玩家对比

（基于公开技术白皮书与社区基准测试的定性对比，不含任何主观优选结论。不同精度、框架版本和测试条件可能导致显著差异，严禁据此直接采购。）

综合评述（定性）：

• NVIDIA得益于长期生态积累与NVLink+InfiniBand硬件协同，目前在训练和推理吞吐的总包方案成熟度上保持领先。众多公开的MLPerf Training/Inference基准结果均以此生态为基础（MLCommons官网，2023–2024各轮次提交）。
• AMD MI300X在HBM容量与带宽规格上占有优势，对特定推理工作负载（KV缓存容量敏感型大语言模型）在单卡吞吐上可能获得竞争力，但ROCm社区生态与NVIDIA的差距仍构成多卡扩展吞吐上的明显壁垒。
• Google TPU v5p与自研JAX框架深度耦合，可在其Pod级超算中实现较高的线性扩展吞吐，但可迁移性低，用户锁定于GCP。
• 华为昇腾910B在中国大陆的政策性能源与信创推动下快速部署，MindSpore与CANN的生态优化正加速追赶，但在公开国际基准的吞吐对比数据极为有限。
• Intel Gaudi 3放弃专用片间总线，选择标准化以太网，旨在降低生态锁定成本，但其训练吞吐需在真实大规模集群中得到验证。

风险

（本节分析影响吞吐能力演进的风险因素，不代表任何证券价格走势判断。）

1. 工艺与封装产能约束：吞吐升级高度依赖先进工艺（如台积电3nm/4nm）和先进封装（CoWoS-L等）。HBM和GPU均争夺同一封装产能池。TrendForce与台媒《经济日报》2023-2024年多次报道CoWoS产能供不应求，若产能扩充速度无法匹配吞吐需求增速，将使全球AI算力部署延迟，并导致硬件采购成本长期高企。

2. 内存墙与功耗墙的物理限制：尽管计算峰值每代倍增，但DRAM带宽增速较慢，大模型推理吞吐的“内存墙”越来越难逾越。同时，单卡功耗已逼近千瓦级（NVIDIA B200参考功耗约1000W，2024年公开信息），更高吞吐带来的供电与散热挑战可能使数据中心TCO中的非计算成本占比上升，稀释吞吐增益的经济账。

3. 通信拓扑的扩展瓶颈：从千卡到万卡再到十万卡，通信拓扑复杂度指数级增加。集合通信时延/抖动、网络故障收敛时间等都会影响有效吞吐。存在物理定律层面的扩展效率递减风险，即增加更多卡带来的吞吐增益逐步趋于零。

4. 软件生态锁定与重构风险：现有吞吐优化方案大量依赖特定厂商的私有库（如TensorRT-LLM对NVIDIA GPU架构的指令级优化、NCCL通信原语等）。一旦供应链或地缘政治因素（如出口管制）影响硬件可获性，用户转向其他硬件时将面临吞吐骤降的移植阵痛。开源开放方案（如OpenXLA、PyTorch原生torch.compile、ONNX等）进展不确定，存在投入生态锁定成本沉没的风险。

5. 优化技术收益递减：经过量化、稀疏化、算子融合、投机采样等系列优化，推理吞吐的“低垂果实”大多已被摘走。后续每提升10%吞吐所付出的算法与工程成本显著上升，可能面临ROI不合算的拐点。训练侧类似，MFU从30%优化到60%与从60%优化到65%的投入完全不成比例。

6. 基准失真与指标单一化：厂商可能会针对MLPerf等公开基准过度优化特定模型和批次，而真实业务环境的多样负载下吞吐可能大幅缩水。用户若仅凭单一吞吐数字采购，可能会在实际部署中遭遇吞吐塌陷。另，部分对延迟敏感的应用（如自动驾驶）根本不允许以透支延时的代价推高吞吐。

误读纠偏

• 误读1：“吞吐等同于理论峰值FLOPS” 实际工作负载中，绝大多数模型的理论MFU远低于100%，常常在30%–60%（训练）或更低。浮点运算执行受到通信带宽、显存带宽、内核启动开销、非计算型算子占比等多种因素制约。硬件选型不能仅看白皮书峰值算力，需结合目标模型在实际系统上的吞吐基准测试（preferably 来自MLPerf或独立社区如MLCommons的结果）。

• 误读2：“加大batch size总能线性提升吞吐” Batch size在一定范围内提升可摊薄系统开销，利用率上升；但超出显存边界需要梯度累积或交换，或进入计算瓶颈，吞吐增长趋于饱和甚至下降。更大的batch size还可能需要重新调整学习率等超参数，影响模型收敛性和最终精度，这也是“吞吐-质量权衡”的组成部分。

• 误读3：“推理吞吐只需最大化每秒请求数，延时无所谓” 所有在线服务均在用户可接受的延迟窗口内才有意义。单纯开放并发数冲高QPS会造成每个请求的排队延迟暴增、P99失控。工程上必须设定延迟SLO（如P99 Token生成间隔<100ms），然后在此约束下最大化吞吐。吞吐和延迟的Pareto前沿才是评价推理系统性能的科学框架。

• 误读4：“用了最新GPU，吞吐一定暴增” 硬件换代若不配套更新软件栈、算子库、编译优化和通信配置，实际吞吐可能提升远低于纸面数值。比如新GPU往往需要新版CUDA、适配的算子融合与分布式策略方能发挥架构改进带来的吞吐增益。存在“软件滞后硬件”的典型部署风险。

• 误读5：“多卡训练吞吐必然随GPU数量线性增长” 受限于通信开销、流水线气泡和负载不均衡，超过一定规模后吞吐扩展效率显著下降。万卡集群的扩展效率能够维持在90%以上已属极度优秀。集群规模数倍扩大但吞吐仅微弱增加的情况并非少见，此时需要对通信拓扑、并行策略重新设计。

最新事件

（截至2025年5月前后的公开事件与披露，按时间粗略倒序列举，仅陈述事实，不预测后续影响。）

• NVIDIA Blackwell Ultra与B200系列全面投产（预计2025年中）：NVIDIA在GTC 2025（2025年3月）发布Blackwell Ultra系列规格，进一步拉高单卡推理吞吐上限（更高HBM3e容量与更大批次KV缓存、更高FP4峰值）。同时展示了基于NVLink 5和NVSwitch在72-GPU单域下的高吞吐训练能力（NVIDIA官方新闻室，2025年3月）。
• DeepSeek-V2/V3系列模型发布，推动推理吞吐成为中国市场显性KPI（2024–2025）：DeepSeek在2024年底至2025年初陆续发布V2/V3大语言模型架构，其MoE设计及训练/推理优化方案引发产业界广泛讨论单Token成本。多家中国云厂商迅速适配其模型并公开竞标自身推理引擎的tokens/sec吞吐数据以显示能力（多家厂商云服务产品更新公告，2025年Q1）。
• vLLM成为事实标准级推理引擎（2024–2025）：vLLM从UC Berkeley研究项目快速被AWS、Anyscale、多家中国云服务商采纳为默认或推荐引擎，PagedAttention和Continuous Batching助推相同硬件下的高吞吐成为标配。其开源社区GitHub Star增长曲线与商业生态整合事件频繁见于技术媒体（如The New Stack等，2024下半年至2025年初多篇报道）。
• Groq与Cerebras获得大规模公共云与政企客户部署（2024–2025）：Groq基于其LPU架构在2024年公开展示Llama 3 70B模型实现每秒超500 Token生成速率后，获沙特阿拉伯等多笔大规模意向订单（公开媒体报道，2024–2025年）。Cerebras的WSE-3晶圆级引擎公布了单芯片训练和极高吞吐推理的演示，并在G42等合作中获得部署（Cerebras官方博客，2024-2025）。
• MLPerf Inference v4.0/v4.1发布，关注生成式LLM吞吐基准（2024）：MLCommons于2024年发布MLPerf Inference v4.0，新增GPT-J等大语言模型基准，并引入“离线吞吐”和“服务器延迟约束吞吐”两种模式。各家加速器厂商提交结果显示出TensorRT-LLM与定制推理方案的吞吐竞争（MLCommons官网结果页，2024年初/中）。
• 中国国产AI芯片吞吐链优化稳步推进，华为昇腾910C披露最新规划（2024–2025）：华为在2024年秋的全联接大会上披露昇腾910C及CANN 8.0的进展，强调在大模型训练吞吐效率上与A100的竞争性（华为官方新闻，2024年9月）。同时，寒武纪等国产芯片在推理吞吐基准上开始见到第三方独立评测数据（公开技术博客与社区测评，2024年，暂无标准化数据）。

跟踪指标

持续跟踪深度学习吞吐的技术与商业健康度，可关注以下量化与事件型信号：

硬件层：

• NVIDIA/AMD/Intel等各代数据中心GPU的官方标称峰值FLOPS、HBM容量与带宽、片间互联带宽更新频率（通常每年至每两年重大更新）。
• MLPerf Training与Inference各轮次吞吐提交结果，关注不同系统规模（单卡/8卡/大集群）和不同主流模型的tokens/sec、samples/sec、QPS以及对应的延迟约束。
• 台积电CoWoS/Samsung H-Cube等先进封装产能季度法说会或市调机构（如TrendForce）跟踪，直接体现HBM与大规模GPU的供给弹性。

软件生态与基准层：

• 主流训练框架（PyTorch, JAX, DeepSpeed, Megatron-LM）新版Release Note中是否出现针对吞吐提升的关键Feature（如新的分布式API、ZeRO变体、通信调度优化）。
• 推理引擎生态变更：vLLM、TensorRT-LLM、SGLang各版本引入的吞吐优化技术（如KV缓存压缩、投机解码变种），其影响可在对应的社区性能基准Dashboard上追踪。
• 新兴基准或指标：如MLPerf Mobile/Edge推理吞吐、TPOT（吞吐-延迟乘积）的行业采纳程度，是否出现面向大模型MoE架构的新型吞吐基准。

产业与公司信号：

• GPU云实例价格与供应可得性：云大厂（AWS、Azure、阿里云等）GPU实例的按时租用价格变动方向和库存状态，反映了总体吞吐供给与需求的平衡关系。
• 头部模型API定价下调：如OpenAI GPT系列/Claude/国产大模型每次降价的公告往往隐含推理吞吐优化取得显著进展、单Token成本降低的信息。
• 网络设备厂商财报中AI后端网络收入：Arista、NVIDIA Networking等季度营收中AI相关部分增长情况，可侧面推算大规模训练集群的通信吞吐升级步伐。

政策与替代指标：

• 美国商务部BIS出口管制清单更新频率及对高端GPU/HBM的参数阈值调整。一旦高端吞吐硬件获取受限，追踪二手市场或合规变体型号的现货吞吐基准将成关键。
• 中国国产AI芯片在公开云和大客户处的部署规模与吞吐公开基准，如“昇腾+CANN”在特定模型上与同代NVIDIA方案的实际训练吞吐对比（若能获取）。

信源

（以下为领域常用的权威来源类别及代表名称，均可在公开渠道检索。由于本次检索功能暂不可用，未附具体URL或DOI。）

• 硬件规格文档：NVIDIA H100/B200/H200等产品白皮书，AMD MI300X官方数据表，Intel Gaudi3产品页面，华为昇腾硬件规格页；台积电CoWoS先进封装技术文件。
• 分布式训练文献：《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism (Shoeybi et al.)》、DeepSpeed ZeRO论文系列（Rajbhandari et al.）、GPipe（Huang et al.）、PipeDream（Narayanan et al.）、Alpa（Zheng et al.）关于自动并行吞吐优化的论文。
• 推理优化论文与开源项目：vLLM《Efficient Memory Management for Large Language Model Serving with PagedAttention (Kwon et al.)》、FlashAttention系列（Dao et al.）、Speculative Decoding（Leviathan et al., Chen et al.）、TensorRT-LLM官方文档与开源代码库。
• 基准与竞赛：MLCommons MLPerf Training/Inference官方结果与白皮书（www.mlcommons.org）、Hugging Face Open LLM Leaderboard（侧重精度，配套吞吐可选）、Papers with Code排行榜。
• 行业分析机构：IDC（全球AI服务器与云服务追踪）、TrendForce（HBM与封装产能追踪）、Dell’Oro Group（AI网络设备预测）、Mercury Research（GPU市场份额）、Futurum Group / SemiAnalysis（行业深度技术-商业分析，注：后者含推测性内容，需交叉验证）。
• NVIDIA/AMD季度财报与电话会记录：SEC Filing（10-K/10-Q），含数据中心营收、产品迭代计划声明。
• 技术媒体：AnandTech、ServeTheHome（服务器与网络硬件实测）、The Next Platform（HPC/AI系统架构分析）、HPCwire、Semiconductor Engineering、IEEE Spectrum。
• 社区技术博客：PyTorch官方博客、Hugging Face技术博客、NVIDIA技术博客、Google Research Blog（TPU与JAX更新）、华为昇腾社区（HCCS/CANN更新）、各大云厂商AI博客。