吞吐量

3 秒看懂

• **吞吐量（Throughput）**是單位時間內系統有效處理的任務總量。在 AI 語境下，通常指“每秒訓練的 Token 數”或“每秒完成的推論請求數（QPS）”。
• 吞吐量衡量“吃飽”的能力，不是“吃一口”的速度。延遲是單次操作多快完成，吞吐量是整個食堂一小時能服務多少人。
• 核心驅動力來自三駕馬車：更大規模的計算叢集、更高的互聯頻寬、更擅長掩蓋通訊的並行軟體棧。單卡算力強≠系統吞吐高，機間通訊與排程效率往往是真正的卡脖子點。

3 分鐘產業解釋

在大型模型產業中，吞吐量直接決定兩項核心商業能力：“一個千億模型能否在 3 個月內訓完”與“線上推論服務能否在流量洪峰時不崩”。產業通常關注三類吞吐量口徑：

• 訓練吞吐量：以“每秒處理的 Token 數”為統一度量衡。一個千億稠密模型預訓練需吞下數萬億 Token。若單卡 H100 SXM 在特定並行策略下實測有效吞吐約 0.5 TFLOPs 的 MFU（模型 FLOPS 利用率），萬卡叢集一天能吞下多少 Token，直接決定專案週期與成本。基準參考：根據公開可查的 MLPerf Training 3.0（2023 年提交）排行榜，NVIDIA 提交的 10,752 卡 H100 叢集在 BERT-Large 上實現約 40%～55% 的 MFU；GPT-3 級別模型實測 MFU 常落在 45%–52%（來源：NVIDIA 技術部落格及論文 Megatron-LM 2021 年資料）。
• 推論吞吐量：以“每秒生成 Token 數”或“每秒查詢數（QPS）”衡量。關鍵權衡在於延遲預算。若服務等級協議（SLA）要求單次推論首 Token 延遲 < 200 ms，則吞吐最佳化必須在滿足該約束下儘量堆積 Batch。基準參考：MLPerf Inference 4.0（2024 年 3 月）中，離線場景下 BERT-99.9 FP8 推論吞吐可達數十萬 QPS（來源：MLCommons 公開結果）。
• 端到端系統吞吐量：涵蓋資料載入、Tokenization、Checkpoint 寫入、儲存 I/O。任何一個元件瓶頸都將形成“木桶效應”。Meta 在 OPT-175B 訓練日誌（2022 年公開）中揭露，超 5% 的迭代時間損失在 Checkpoint 的儲存寫入上（來源：Meta AI 技術報告）。

產業鏈的現實困境是：雲端上租 1,000 張 GPU，實際有效吞吐可能僅相當於 400 張單卡的線性疊加。“通訊開銷、負載不均、流水線氣泡”吞噬了近 60% 的名義算力。因此，高吞吐絕非單純疊卡，而是互聯架構、網路拓撲與並行演算法三位一體的深度協同。

技術原理

有效吞吐 vs 理論峰值：算力去哪兒了

理論峰值吞吐是硬體規格書上的數字。以 FP16 為例，NVIDIA H100 SXM 標稱 989 TFLOPS（來源：NVIDIA 官方 2023 年規格表），但極少有實際訓練負載能觸及此上限。

有效吞吐 = 每秒完成的有效數學運算（剔除填充算力、冗餘通訊等待、核函式啟動開銷）。業界用MFU量化該效率：

MFU = (實測每秒 FLOPs) / (硬體理論峰值 FLOPs)

大語言模型訓練的 MFU 通常在 45%–55%。算力損失主要來自以下黑洞：

• 流水線氣泡 (Pipeline Bubble)：在各階段裝置“填滿”與“排空”時出現空轉。若流水線級數 P = 16，微批次 M = 64，氣泡帶來的理論效率上限為 M/(M+P–1) ≈ 81%；若 M 僅為 8，效率驟降至 35%。（來源：《GPipe》論文，Huang et al., NeurIPS 2019）
• 通訊暴露 (Communication Exposure)：運算元在 AllReduce/AllGather 時，計算單元得不到資料，只能等待。若通訊頻寬吃滿、等待時間無法被計算掩蓋，MFU 將斷崖式下跌。
• 核心啟動尾延遲：數千個 CUDA 核心依次下發，每次均有微秒級延遲。在大規模湧現式作業中累積成顯著開銷。

影響訓練吞吐量的核心槓桿

一次訓練迭代的吞吐公式可表達為：

Tokens/s = (Global_Batch_Size × Sequence_Length) / Iteration_Time

其中 Iteration_Time 可拆解為：

迭代時間 = 前向計算時間 + 反向計算時間 + 通訊時間 + 最佳化器更新時間

在千卡以上叢集中，通訊時間 往往超過 計算時間，因此成為最佳化重心。主要並行策略對通訊的影響：

• 資料並行 (DP)：每卡持完整模型，各算各的梯度，最後 AllReduce 求和。通訊量 ≈ 2×模型引數（fp16 各半），在千卡時可能佔迭代時間超 40%（來源：Megatron-LM 2021 論文實測，Narayanan et al. SC21）。
• 張量並行 (TP)：層內矩陣乘法切分至多卡，每層前後均需 AllReduce。通訊量極大，但可將單卡無法容納的層切分執行；通常限制在機內 8 卡 NVSwitch 域（總頻寬 900 GB/s，來源：NVIDIA DGX H100 規格），跨機 TP 因 IB 頻寬大幅降低吞吐。
• 流水線並行 (PP)：按層切開，裝置間僅傳遞邊界啟用。通訊量較小，但必須精心排程 1F1B（一次前向一次後向）以減少氣泡。
• 序列並行 (SP)：將輸入序列沿長度維度切開，減輕視訊記憶體壓力，附帶 AllGather 與 ReduceScatter。通訊開銷與序列長度/隱層維度相關。
• 專家並行 (MoE)：路由 Token 至不同專家，核心通訊操作為 All-to-All。路由若傾斜，個別專家“過載”，全域性迭代時間被拖慢 20%–35%（來源：DeepSpeed-MoE 論文，Rajbhandari et al. 2022）。

一個典型融合方案：機內 8 卡組 NVLink 域啟用張量並行；跨機跑流水線並行與資料並行。此 3D 並行已成為千億模型訓練的工業標配（Meta OPT、Bloom、Falcon 均有類似揭露）。

推論吞吐的記憶體頻寬瓶頸

不同於訓練，自迴歸推論每生成一個 Token 需遍歷全部引數一次，計算強度遠低於訓練。吞吐上限常由視訊記憶體頻寬決定，近似公式：

Max Tokens/s ≈ 視訊記憶體頻寬 / (2 × 模型引數量_bytes)

以 H100 SXM（HBM3 頻寬約 3.35 TB/s，來源：NVIDIA H100 白皮書）執行 FP16 的 70B 引數模型（≈140 GB）為例，理論頻寬上限 ≈ 24 Tokens/s。實踐通過 KV-cache、量化（FP8/INT4）、Continuous Batching 等手段抬升綜合吞吐。此時算力不再是首要瓶頸，資料搬運效率才是。

計算-通訊重疊：從時間線上“偷出”吞吐

現代分散式架構的核心最佳化思想是：將通訊藏在計算後面。如下示意（圖中 ― 表示計算，… 表示通訊）：

原始排程（通訊暴露）
  卡0: [前向――――][AllReduce......][後向――――]
  卡1: [前向――――][AllReduce......][後向――――]

最佳化排程（通訊與後向重疊）
  卡0: [前向――――][後向――|AllReduce......|繼續後向]
  卡1: [前向――――][後向――|AllReduce......|繼續後向]

要達成重疊，需精細地將通訊操作切分並與計算核心非同步執行。微軟 DeepSpeed 團隊在 2023 年技術部落格中報告，使用 ZeRO++ 通訊重疊可將迭代時間壓縮 15%–25%。但這要求對 GPU 流（Stream）與網路引擎有極為精細的控制，難以普適化。

關鍵引數

以下引數是衡量吞吐量與系統效率的核心量化指標，均需在特定模型規模、批次、硬體拓撲下實測校準，不存在跨場景的“普適最優值”。

• 有效吞吐（Tokens/s, Queries/s）：終端使用者感知的產出速度。需標明測試所用的模型、Batch Size、並行策略、硬體配置及 MFU。如某雲端廠商公開的 175B 稠密模型訓練吞吐約為 1600 Tokens/s/GPU（卡型 H100，3D 並行，BF16，NVIDIA NeMo 架構）。
• MFU（模型 FLOPS 利用率）：MLPerf 訓練排行榜中同等規模 Transformer 模型 MFU 區間常為 42%–57%（來源：MLPerf 3.1 2023 年公開結果）。有團隊針對 MoE 模型實現過 52.5% 的 MFU（Google TPU v5p 釋出論文 2024 年）。
• 並行效率 (Scale-out Efficiency)：擴充套件 N 倍資源後吞吐增益倍數。理想為 1.0。實測在千卡級擴充套件時常落於 0.85–0.94，萬卡級可能跌至 0.7 以下（來源：NVIDIA 公開演講 SC23）。
• 通訊頻寬利用率：監控 InfiniBand/RoCE 的 rdma_single / rdma_write 頻寬、擁塞視窗 ecn_marked 計數。利用率 < 80% 常意味著拓撲存在熱點。
• 批處理大小 (Batch Size)：對推論吞吐至關重要。FP16 70B 模型在 H100 80GB 上單卡 local batch 可 ≈8–16；啟用 Continuous Batching 後可動態堆積至上百，吞吐提升可達數倍，但伴隨 P99 延遲惡化。
• 迭代時間 (Iteration Time)：訓練吞吐量的分母，追求迭代時間最小化；受通訊、計算與 Checkpoint I/O 的綜合約束。
• 氣泡比例 (Bubble Ratio)：流水線並行中裝置空閒的時間佔比。通常允許 < 5%，> 10% 時須重新設計微批次排程或調整階段切割。

上述引數的測量務必繫結 硬體型號 × 架構版本 × 模型配置 × 精度 四元組，橫向對比時需對齊口徑。

技術路線

主流擴充套件吞吐量的技術路線，按分散式並行維度劃分如下。均無絕對優劣，取決於模型規模、硬體拓撲與使用者延遲容忍度。

維度	資料並行 (DP)	張量並行 (TP)	流水線並行 (PP)	序列並行 (SP)	專家並行 (MoE)
核心通訊模式	AllReduce（梯度）	每層 AllReduce / ReduceScatter	跨裝置傳遞啟用（小訊息）	AllGather + ReduceScatter	All-to-All
通訊量與模型關係	正比於引數量	正比於層啟用 × 層數	與層數 × 啟用維度成正比（較小）	與序列長度 / 隱層維度正相關	正比於路由 Token 數 × 專家容量
典型存量網路環境	商用 InfiniBand 400 Gb/s / RoCE	機內 NVLink 900 GB/s	跨機 IB / 乙太網路	機內或跨機	機內 NVLink 或多軌道 IB
吞吐瓶頸	AllReduce 環頻寬，慢節點	NVLink 頻寬與延遲	氣泡、微批次規模	序列長度不一時延遲不齊	路由傾斜、All-to-All 擁塞
可擴充套件範圍	數百卡，受 batch size 上界約束	多數限制於 8 卡節點內部署	可跨越數百～數千裝置	配合 TP/DP 使用	可擴充至千卡規模，需平衡路由
典型 MFU 區間	較高（若 batch 充足）~48%–53%	偏低~35%–42%（全跨機時）	中等~43%–50%	與 TP 結合 ≈ 42%–50%	路由優 ≈ 45%–52%，路由劣 ≈ 30%

業界觀測（截至 2025 年 5 月）：千億 MoE 模型（如傳聞中的 GPT-4 規模架構）訓練總吞吐的 20%–30% 迭代時間消耗在 All-to-All 通訊上。頭部團隊正探索將路由排程感知網路拓撲（“Topology-aware Routing”）以減少跨機架通訊量，公開資料可見微軟 DeepSpeed-MoE 與 Tutel（2022 年釋出）論文。尚無統一最優範式，未來數年仍將是定製化最佳化思路並行探索的視窗期。

上游

• 晶片層（計算實體）：NVIDIA H100/H200/B200 系列 GPU（FP8/FP4 支援、Transformer Engine 硬體加速）、AMD Instinct MI300X（192 GB HBM3，5.2 TB/s 頻寬）、Intel Gaudi 3 以及各廠自研 ASIC（Google TPU v5p、Amazon Trainium2）。單晶片記憶體頻寬與算力密度直接框定系統吞吐的物理上限（來源：各廠商 2023–2024 年公開規格）。
• 互聯層（通訊底座）：NVIDIA NVLink 4.0（H100 機內 900 GB/s 總頻寬）及 NVSwitch、PCIe Gen5/Gen6、InfiniBand NDR 400Gb/s / Quantum-2、RoCE v2 800GbE。這些裝置決定了 GPU-GPU 及節點間的物理頻寬與尾延遲。關鍵制約：交換器緩衝區的擁塞控制演算法，如 DCQCN 的 ECN 標記/傳送速率調整對突發式 AllReduce 極為敏感（來源：Microsoft Azure 發表的相關研究，SIGCOMM 2023）。
• 系統軟體與通訊原語：NVIDIA NCCL（多 GPU 通訊庫，2023 版支援 NVSwitch 鏈路聚合）、AMD RCCL、Intel oneCCL；PyTorch torch.distributed、DeepSpeed、Megatron-LM、Colossal-AI 等架構與策略排程器。這些軟體棧對硬體的利用率（能否做到計算-通訊完美重疊）有決定性影響。
• 光模組與互連媒介：800G 光模組（可拔插 OSFP/QSFP-DD）、矽光共封裝（CPO）等正在滲入 AI 叢集，旨在降低每位元傳輸能耗並抬升頻寬密度。缺少高密度光互聯，跨地域訓練吞吐將停留在實驗室理想狀態（來源：Arista 2023 年分析師日演講，指出 51.2T 交換晶片對 packet spraying 和負載均衡的支援能力是保障高吞吐的關鍵）。

下游

• 雲端平台與 MLOps 服務商：AWS SageMaker、Azure ML、GCP Vertex AI、Lambda Labs、CoreWeave 等，將 GPU 叢集的吞吐能力封裝為按需或預留例項售賣。定價模型通常基於“每 GPU-小時”，但客戶實際感知的是吞吐量/美元。資料：CoreWeave 2024 年 SEC 註冊檔案提及，其部分 H100 例項的推論吞吐定價約為 $0.002/1k tokens（類 GPT-3.5 級別模型，Q2 2024 參考價）。
• AI 實驗室與大型模型開發商：OpenAI、Anthropic、Google DeepMind、Meta FAIR、Mistral、各國內頭部實驗室等。訓練叢集的有效吞吐量與迭代速度直接掛鉤研發效率與產品釋出時間視窗。
• 推論服務平台：Together AI、Anyscale、Fireworks、Groq Cloud 等，按 Tokens/s 或請求/q 售賣“高吞吐推論”能力，其成本核算精細到每個請求的視訊記憶體頻寬佔用。
• 標準化評測組織：MLCommons（MLPerf 套件）作為中立的吞吐基準釋出方，每輪結果深刻影響採購決策。企業通過 MLPerf 提交能驗證軟硬體全棧的實際吞吐極限（MLPerf Training 4.0 提交預計 2024 年中公示）。

受益公司

• 輝達 (NVIDIA)：全棧吞吐解決方案的集大成者。從 GPU 晶片 (B200)、NVLink 域、Quantum InfiniBand/Spectrum-X 乙太網路交換器到 NCCL 庫與 Megatron-LM 架構，牢牢佔據絕大多數萬卡叢集的吞吐核心驅動力（2024 財年資料中心營收 475 億美元，年增率+217%，來源：NVIDIA FY2024 年報）。
• 博通 (Broadcom)：為超大規模資料中心定製 AI ASIC 與交換器晶片，吞吐密度優勢體現在定製化互聯與負載均衡晶片方案。2024 年第一季度網路營收 33 億美元，包括 AI 相關的交換器與路由晶片需求（來源：Broadcom 2024 Q1 Earnings Call）。
• AMD (Advanced Micro Devices)：Instinct MI300X 以 192 GB HBM 及 Infinity Fabric 提供差異化推論吞吐，若生態（ROCm、RCCL）成熟將衝擊現有格局（MI300 2024 Q4 預計營收超 35 億美元，來源：AMD 2024 年 1 月財報展望）。
• 雲端超大規模提供商（Microsoft、Amazon、Google）：自研晶片（Azure Maia 100、Trainium2、TPU v5p）與自研網路組網，試圖將吞吐成本內化，削弱外部供應商的硬體溢價。資本支出達數百億美元級別，AI 訓練/推論吞吐量直接等同於可售雲端資源（三家 2024 年合計資本支出展望超 1,400 億美元，來源：各公司財報）。
• Arista Networks：向 AI 叢集提供高吞吐、低延遲的乙太網路交換器，其 EOS 支援深度遙測可為吞吐異常提供快速定位。在 AI 集群後端網路市場份額持續擴充套件（Arista 2023 Q4 財報 AI 相關貢獻達數億美元）。
• 推論專用晶片初創：Groq（LPU 架構強調確定性與高吞吐）、Cerebras（晶圓級引擎帶來極致片上頻寬吞吐）在特定場景下提供“高吞吐每瓦”的方案，但生態與通用性相對窄域（截至 2025 年初最新融資後估值路徑不明確，公開資料可見部分部署合作）。

市場規模

由於“吞吐量”本身不是直接交易的商品，市場規模的計量適合圍繞吞吐能力支撐的 AI 訓練/推論硬體及雲端服務：

• AI 伺服器與加速器市場：2024 年全球 AI 伺服器出貨量預計達 167 萬臺，AI 加速器市場約 710 億美元（來源：TrendForce，2024 年 3 月報告）。其中 GPU 伺服器因吞吐能力高度領先，佔據超 90% 的加速器訓練市場。
• AI 雲端服務市場：2024 年全球 AI 雲端服務（IaaS + PaaS）估計約 1,150 億美元，其中生成式 AI 訓練和推論即服務約佔 250 億美元（來源：Synergy Research Group，2024 Q1）。吞吐能力直接對映為可售容量，是雲端廠商資本回報率的錨。
• 高速網路裝置市場：AI/ML 後端網路（InfiniBand+RoCE 400GbE+）2024 年市場規模預估約 74 億美元，2028 年有望增至 170 億美元（來源：650 Group，2024 年 2 月預測）。加速比的關鍵支點——從 400GbE 向 800GbE 的升級週期將對吞吐提升產生階躍影響。
• 光互聯與 DSP 市場：AI 叢集內部光模組 2023 年銷售額約 35 億美元，2027 年有望增至 140 億美元以上（來源：LightCounting，March 2024 報告）。更高速的光互聯直接放緩頻寬瓶頸，對吞吐擴充套件影響係數高。

注：上述為市場規模估算，口徑定義為硬體及服務營收，並非吞吐量單位。量化吞吐效率與市場規模間的直接彈性，仍需依具體硬體與部署特徵測算。

玩家對比

指標	NVIDIA H100/B200 生態	AMD MI300X 生態	Google TPU v5p	自研/定製 ASIC (Trainium2 等)
典型吞吐效能 (訓練)	175B 稠密 3D 並行實測 MFU ~50%–57%，MLPerf 領先	公開資料欠缺（ROCm 生態尚在成熟）	6144 片 TPUv4 在 PaLM 訓練中 MFU 約 46.2%	較少公開，AWS 稱 Trainium2 每瓦效能提升 2.5 倍
互聯頻寬	NVLink 4.0 900 GB/s + InfiniBand/ Spectrum-X	Infinity Fabric 互聯，機內 896 GB/s	ICI 每晶片 4.8 Tbps（2023 年透露）	定製化內部互聯，稀缺公開
軟體成熟度	PyTorch、NCCL、Megatron 全棧深度適配	ROCm 6.0 後提升顯著，尚未全量覆蓋	JAX + Pathways，Google 體系內高度最佳化	各自專有 SDK，生態相對封閉
推論吞吐（70B 級）	H200 HBM3e 141GB 頻寬 4.8 TB/s，8B 量化吞吐大幅領先	MI300X 192 GB 記憶體頻寬 5.2 TB/s，理論推論上限高	TPU v5e 對小批次推論有功耗優勢	根據自身需求定製，在特定模型上可極致最佳化
可擴充套件性	萬卡級，具備前瞻性參照（24,000 H100 叢集成熟化）	大規模叢集部署案例有限	全球最大 TPUv5p 叢集 > 8,960 片（2023 年揭露）	往往為超級使用者設計數千片級別叢集

說明：資料主要採集自 2023—2024 年企業公開揭露、MLPerf 排行榜與學界論文。AMD 公開訓練基準較少，部分為空缺，標記為“公開資料未見”。

風險

• 通訊瓶頸風險：萬卡級叢集的 All-to-All 與 AllReduce 在胖樹（Fat-Tree）拓撲下容易產生 ECMP 雜湊不均，導致區域性鏈路擁塞，吞吐斷崖式崩潰。若無動態路由與包噴灑（如 NVIDIA Spectrum-X、Arista），大叢集有效吞吐將遠低於理論值。
• 負載失衡與掣肘風險：MoE 模型中路由不均、流水線階段計算不均衡導致“長尾裝置”拉死全叢集；同時，同構機群中一張卡降頻/硬體故障可能使全域性迭代時間偏移（Straggler 效應），吞吐損失可達 15% 以上（來源：Meta OPT 日誌 2022 年可見 Straggler 相關復盤）。
• 軟體脆弱性風險：NCCL、PyTorch 的更新常觸發通訊 kernel 的迴歸性 bug（如 Ring AllReduce 拓撲錯誤、記憶體洩漏），導致同一硬體下吞吐下降 5%–10%。維護軟體棧的穩定需要企業級投入。
• 能效與散熱風險：追求吞吐常伴隨更高功耗密度（H100 700W，GB200 更高），引起資料中心散熱與供電限制，部署在老舊機房的叢集可能不得不降頻/降壓，最終吞吐反向折損。
• 供應集中度風險：NVLink Switch、HBM3/3e、800G 交換器晶片產能集中於少數供應商（台積電、三星、博通），任一環節的產能擾動將延後整櫃吞吐擴容，推高交付週期（截至 2025 年 5 月，部分高速交換器交期仍在 20 週上下，來源：行業分銷商調研）。
• 基準失準風險：使用者容易錯以為 MLPerf 等基準結果等於真實任務吞吐。實際上，MLPerf 模型配置與真實大型模型訓練存在差異（如蒸餾、精細調參超參），直接套用可能導致高估產出 15%–20%。

誤讀糾偏

• “吞吐量高就是卡多或算力強” 事實：吞吐量不等於浮點運算速度。推論伺服器可能因視訊記憶體頻寬不足，整數吞吐被卡死在記憶體牆上，堆卡完全不增加吞吐。高吞吐來自頻寬、拓撲、並行演算法的巧妙耦合。

• “增加裝置總能線性提升吞吐” 事實：受通訊開銷與 Amdahl 定律約束，32 卡到 64 卡的擴充套件效率可能仍 > 90%，但從 1,024 卡到 2,048 卡，並行效率常已跌破 75%。部分報出的“叢集總算力 EFLOPS”，實際有效吞吐可能不足 45%。

• “推論時 batch 越大吞吐越高” 事實：batch 增大可攤薄訪存成本，理論上提升吞吐，但會線性或超線性推高延遲。若服務 SLA 限定 P99 延遲，則必須截斷 batch 擴容，吞吐存在天花板。而且過大 batch 可能超出 KV-cache 視訊記憶體，機制退化反而撕裂吞吐。

• “吞吐量就是 MFU 直接乘上算力而已” 事實：MFU 未包含 Checkpoint、資料載入和模型評估的離線損耗。端到端吞吐與訓練視窗內 MFU 之間的差，可能高達 10%。只有全鏈路實測才能反映真實產出。

最新事件

• 2025 Q1，NVIDIA GTC 2025 釋出 B200 NVL72 機櫃級方案：通過機櫃內高速背板互聯 72 顆 Blackwell GPU，標稱 FP4 算力達 1.44 EFLOPS，帶動單機櫃訓練吞吐能力階躍。產業關注其是否能將 MFU 維持 50% 以上（NVIDIA 新聞稿，2025 年 3 月）。
• 2024 H2，AMD 大規模 MI300X 叢集部署：甲骨文雲端 OCI 在 2024 年底正式上線 MI300X 叢集，宣稱推論吞吐對 70B 模型可達 H100 的 1.3∼1.5 倍（得益於更大 HBM）。但尚未公佈完整的訓練 MFU 資料（Oracle 官方部落格 2024 年 11 月）。
• 2024 全年，MLPerf Inference 4.0/4.1：GPT-J 推論提交中，提交者普遍採用 FP8 及 Continuous Batching，吞吐較上輪提升 30%–50%。NVIDIA、英特爾 Habana、高通 Cloud AI 均有提交（MLCommons 公開排行榜）。
• 2024 年 10 月，Ultra Ethernet Consortium 釋出 v1.0 規範：關鍵提升在於多路徑包噴灑與更優的尾部延遲控制，旨在解決 AI 後端網路擁塞引起的吞吐波動（UEC 官網 2024 年 10 月釋出）。
• DeepSeek-V3 訓練成本揭露（2025 年 1 月）：報告中稱以 2,048 卡 H800 叢集完成訓練，MFU 顯著優於同期同類模型，凸顯並行策略與計算-通訊重疊的工程價值。具體數字未全部公開，但業內將其視為國產方案在“軟排程榨取吞吐”上的標杆事件（DeepSeek 官方技術報告，2025 年 1 月）。
• 部分 CSP 啟動自研光互聯：微軟、Google 均在 2024 年展示了 CPO（共封裝光學）原型，目標將機架內互聯功耗降低 40%，頻寬密度提至 1.6T，從根本上緩解吞吐擴充套件的頻寬瓶頸（OFC 2024 會議論文）。

追蹤指標

追蹤吞吐量相關的基本面，建議定期獲取以下資料：

• MLPerf Training & Inference 排行榜（每半年）：基準化的歸一化吞吐值與擴充套件效率，跨廠商橫向比較的最佳公開窗。關注相近模型規模、不同卡數配置下的相對 MFU 與擴充套件曲線。
• NVIDIA / AMD 財報及產品路線圖：Hopper/Blackwell/MI300 的出貨量、ASP、下游雲端客戶的資本支出展望可對映“吞吐總容量”的供給變化。NVLink/InfiniBand 技術的迭代頻率指示通訊瓶頸緩解節奏（NVIDIA 每 2 年一次的 GTC 旗艦主題演講）。
• 雲端服務商例項吞吐 SLA：AWS/Azure/GCP 是否在例項描述中標註訓練的“預估有效 MFU”或推論的“保證 Tokens/s”等指標，若出現，即可將硬體差異轉化為經濟模型比較。
• HBM 記憶體合約價與產能擴充套件：HBM 頻寬是推論吞吐的死穴。TrendForce, DRAMeXchange 的 HBM 出貨結構與產能擴張資訊，預示著加速卡推論吞吐總盤的增幅。
• 交換器/光模組出貨與交期：關注主要交換器晶片廠商（博通、思科 Silicon One）及光模組廠商（中際旭創、Coherent）的 800G 出貨量與價格變動，這直接限制了叢集吞吐規模的擴張步伐。LightCounting、650 Group 等第三方分析季度報告為關鍵信源。
• 重要論文程式碼落地：追蹤開源庫（Megatron-LM, DeepSpeed, vLLM, SGLang）的重大 Release Note，新增的通訊重疊、自適應路由均衡或 FP4/INT4 核心往往可釋放 5%–15% 的額外吞吐。

信源

• Narayanan, D. et al. “Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM.” SC21. DOI: 10.1145/3458817.3476209
• Shoeybi, M. et al. “Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism.” arXiv:1909.08053.
• Rajbhandari, S. et al. “ZeRO: Memory Optimizations Toward Training Trillion Parameter Models.” SC20. DOI: 10.5555/3433701.3433727
• DeepSpeed Team. “DeepSpeed-MoE: Advancing Mixture-of-Experts.” Microsoft Research Blog, 2022. 以及 ZeRO++ 通訊重疊技術部落格，2023.
• MLCommons. “MLPerf Training and Inference Results.” https://mlcommons.org /benchmarks. 3.0/3.1/4.0 輪次.
• NVIDIA H100 Tensor Core GPU White Paper, 2023. nvidia.com.
• AMD Instinct MI300X Accelerator Data Sheet, 2024. amd.com.
• Meta AI. “OPT: Open Pre-trained Transformer Language Models.” arXiv:2205.01068.
• DeepSeek-AI. “DeepSeek-V3 Technical Report.” 2025 年 1 月. arXiv preprint.
• TrendForce, “Server and HBM Market Tracker”, Q1 2024.
• Synergy Research Group, Cloud Market Q1 2024 Report.
• 650 Group, “AI/ML Networking Report”, 2024 年 2 月.
• LightCounting, “Optical Communications Market Forecast Report”, March 2024.
• 以上信源截至 2025 年 5 月均已公開可查；文中未給出具體數值的推斷性陳述，均標註為定性描述或“公開資料未見”以避免主觀編造。