吞吐

3秒看懂

吞吐（Throughput）是衡量深度學習系統單位時間內完成有效工作量的綜合能力指標。在訓練場景，通常指每秒處理的訓練樣本數或Token數；在推論場景，指每秒完成的推論請求數或生成的Token數。它直接關聯算力真實利用率、系統總擁有成本（TCO）和模型上線時效，是AI基礎設施選型與演算法-系統協同最佳化的核心目標。吞吐不等於理論峰值算力，它衡量的是“實際產出/時間”，而非“最大可能運算次數/時間”。

3分鐘產業解釋

在深度學習產業中，吞吐往往比紙面算力更能反映資本支出轉化為業務回報的效率。模型訓練或推論服務都在限定時間內追求最大化產出：訓練側期望以更短“牆鍾時間”完成大規模模型收斂，推論側期望單張加速卡或單節點支撐更高併發量。

產業界聚焦吞吐的動因有三：

• 成本效率（TCO驅動）：更高吞吐意味著相同算力採購能產出更多訓練進度或服務更多請求，直接拉低單位產出成本。例項層面，單卡推論吞吐加倍，等價於支撐相同併發量時硬體投入減半。
• 規模瓶頸識別：大型模型訓練需數千乃至數萬張加速卡並行，通訊拓撲、I/O頻寬、重計算策略均可能成為吞吐瓶頸，而非僅受限於計算核心數量。定位並移除這類瓶頸是基礎設施投資的關鍵任務。
• 服務質量錨定：對於即時推論服務（如對話AI、程式碼助手、推薦系統），吞吐直接決定系統可支撐的峰值QPS（每秒查詢數），關係到P99延遲能否滿足SLA（服務等級協議）及使用者體驗。

業界普遍採用“延遲約束下的吞吐最大化”範式進行調優——單方面推高吞吐可能導致單次請求延遲失控，因此最佳化目標是在給定延遲上限（如首個Token生成時間<200ms）內實現最大化吞吐。

技術原理

深度學習系統吞吐的本質是流水線各階段的平衡與利用率最大化。以下為典型單卡訓練流水線抽象示意（不繫結具體硬體型號，僅展示資料流向）：

  CPU                     GPU視訊記憶體              GPU計算單元
   │                        │                     │
   ├─(1)資料載入───────────►│                     │
   │                        │                     │
   │                        ├─(2)輸入張量─────────►│
   │                        │                     │
   │                        │                     ├─(3)矩陣乘/卷積等
   │                        │                     │   ├─ 運算元1
   │                        │                     │   ├─ 運算元2
   │                        │                     │   └─ ...
   │                        │                     │
   │                        │◄──(4)損失/梯度──────┤
   │                        │                     │
   │                        ├─(5)最佳化器更新───────►│
   │                        │                     │
   ◄───(6)下一個batch───────┤                     │

實際系統中步驟（1）至（6）以多執行緒/多卡流水線方式非同步重疊執行。吞吐最佳化的核心是消除“氣泡”——即任一階段因資料未就緒而空閒的時段。關鍵調控引數包括：

• Batch size（批大小）：每次最佳化步處理的樣本數。增大batch size可攤薄資料載入啟動和跨卡通訊開銷，從而提升吞吐，但受限於視訊記憶體容量與最佳化器收斂特性（過大batch可能需調整學習率甚至影響最終模型質量）。
• Micro-batch size（微批大小）：在流水線並行中，將mini-batch切分為更小的micro-batch依次注入流水線，以減少流水線啟動和排空階段產生的空閒氣泡。
• 梯度累積：視訊記憶體不足無法直接使用大batch時，可通過多次前向/後向傳播累積梯度後，再執行一次最佳化器引數更新，模擬大batch訓練效果，但會引入額外計算開銷。
• 運算元執行效率與計算單元佔有率：張量核心利用率、流式多處理器（SM）佔用率、執行緒束（Warp）排程效率等微觀引數，決定每個計算步驟的耗時下限。
• 算術強度與Roofline模型：低算術強度運算元（如逐元素啟用函式、LayerNorm）吞吐受限於視訊記憶體頻寬；高算術強度運算元（大矩陣乘法）吞吐受限於計算峰值。最佳化方向是減少低強度運算元佔比或通過運算元融合提升總有效算術強度。

分散式場景下，吞吐受計算、通訊、I/O三者的瓶頸制約，定性模型可表述為：

實際訓練吞吐 ≈ min(單卡計算吞吐×擴充套件效率，有效通訊頻寬/每步通訊資料量，I/O頻寬/每步資料量)

該模型雖無法線性量化（因各階段可部分重疊），但清晰指明瞭瓶頸定位方向：當吞吐不隨計算卡數線性增長時，需排查通訊開銷或資料供給能力。

推論吞吐的技術側重點不同：生成式模型的推論吞吐受“記憶體牆”制約特別顯著。每次生成Token時需讀取之前Token的鍵值快取，當併發請求增多，KV快取總量可能超出視訊記憶體容量，倒逼系統進行記憶體交換或重算，從而使吞吐驟降。PagedAttention等虛擬記憶體式視訊記憶體管理技術為此而生，以演算法創新提升視訊記憶體利用率和吞吐。

關鍵引數

衡量深度學習系統吞吐的核心引數分為訓練側、推論側和系統效率三大類：

訓練側：

• 訓練吞吐量（samples/sec, tokens/sec, steps/sec）：最直觀的產出度量。大語言模型訓練常用tokens/sec，視覺模型常用samples/sec。
• 模型FLOPS利用率（MFU, Model FLOPS Utilization）：實際吞吐對應的每秒浮點運算量÷硬體理論峰值FLOPS。綜合反映計算核心利用率、通訊開銷、重計算損耗等因素。大型模型訓練的MFU通常在30%–60%區間（行業定性經驗，非特定廠商基準資料），部分極度最佳化的工作負載可超60%。
• 通訊頻寬與集合通訊演算法頻寬：可通過NCCL測試等基準獲取單向/雙向匯流排頻寬及AllReduce等集體通訊的實際演算法頻寬，用於評估通訊子系統是否構成瓶頸。
• 擴充套件效率（Scaling Efficiency）：N卡實際吞吐÷（單卡吞吐×N），衡量多卡並行帶來的吞吐增益是否線性。低於90%通常暗示通訊或負載不均衡問題。

推論側：

• 請求吞吐量（QPS, queries per second）：即時推論服務最常用的業務側指標。
• Token生成速率（tokens/sec）：大語言模型推論場景的主要度量，包含首Token延遲與後續每Token生成吞吐的區分。
• 吞吐-延遲乘積（TPOT, Throughput–Per-Output-Token latency，或等效綜合指標）：在給定延遲SLO下能達到的最大吞吐，或者吞吐與中位延遲的比值，用於公平對比不同推論方案的綜合性能。

資料供給側：

• 資料管道吞吐（samples/sec 經由資料載入器）：資料預處理、解碼、增廣流水線每秒能供給GPU的樣本次數。一旦該值小於訓練消耗吞吐，GPU將出現空等（飢餓），整體吞吐以資料管道吞吐為上限。

公共約定：所有吞吐數值需標註測試硬體型號、軟體版本、batch size、精度（FP32/FP16/BF16/INT8等）、模型規格以及是否開啟梯度累積/運算元融合等最佳化，否則不同來源的吞吐資料缺乏可比性。

技術路線

深度學習吞吐最佳化的技術演進沿著“單卡→多卡→萬卡”和“訓練→推論”兩條軸線展開，核心路線如下：

1. 梯度同步範式（2015–2019，資料並行主導）

• 代表：PyTorch DistributedDataParallel（DDP）、Horovod。
• 技術特徵：每卡持有完整模型副本，資料分片獨立前向/後向傳播，梯度通過AllReduce同步。NCCL庫提供Ring、Tree等演算法實現高頻寬通訊。
• 吞吐邏輯：增卡攤薄計算，但同步開銷隨卡數增加。適用於中等規模模型（引數<10億量級）和數百卡叢集。

2. 視訊記憶體解除安裝與狀態分片（2020–2022，ZeRO路線）

• 代表：DeepSpeed ZeRO-1/2/3、PyTorch FSDP（Fully Sharded Data Parallel）。
• 技術特徵：將最佳化器狀態、梯度和引數分片到各卡，使用時才聚合，以適度增加通訊換取顯著降低單卡視訊記憶體佔用，允許增大batch size或訓練更大型模型。
• 吞吐邏輯：視訊記憶體瓶頸解除後，可在原本無法訓練的硬體配置上獲得可用吞吐。通常ZeRO-3因引數allgather開銷會使單步時間略增，但“可訓練性”本身創造吞吐價值。

3. 模型切分與3D並行（2020至今，混合並行主導）

• 代表：Megatron-LM（張量並行TP+流水線並行PP+資料並行DP）、DeepSpeed結合Megatron的3D並行。
• 技術特徵：張量並行在運算元內切分矩陣乘，依賴高頻寬的卡間互聯（如NVLink）；流水線並行按層切分，以micro-batch填充流水線；資料並行跨節點擴充套件。三者疊加實現萬卡級訓練。
• 吞吐邏輯：3D並行的核心挑戰是最小化通訊與流水線氣泡。適當地配置TP/PP/DP維度和micro-batch大小可實現較接近線性的擴充套件吞吐。前沿工作如序列並行（Sequence Parallelism）進一步分散LayerNorm和Dropout的啟用記憶體與通訊。

4. 推論時編譯與量化（2019至今，推論專用線）

• 代表：TensorRT、ONNX Runtime、OpenVINO、Apache TVM。
• 技術特徵：圖級運算元融合、常量摺疊、自動精度降級（FP16→INT8→INT4）、記憶體規劃、定製核心排程。將訓練好的模型編譯為針對特定硬體的最佳化執行圖。
• 吞吐邏輯：減少記憶體搬運和核心啟動次數是提升推論吞吐的核心。量化直接降低訪存量和計算量，在硬體支援INT8/INT4推論時，吞吐可較FP16提升2–4倍（定性範圍，具體增益因模型與硬體而異）。

5. 生成式推論專用系統（2022至今）

• 代表：vLLM（PagedAttention）、LMDeploy、TensorRT-LLM、SGLang。
• 技術特徵：KV快取虛擬記憶體化管理、連續批處理（Continuous Batching）、投機取樣（Speculative Decoding）、FlashAttention系列定製注意力核心。
• 吞吐邏輯：直接解決大型模型推論的視訊記憶體碎片化和空閒等待問題。連續批處理允許新請求在正在進行的迭代中即時加入，大幅提升GPU佔用率；PagedAttention將KV快取從整塊預分配變為按“頁”動態分配，接近消除視訊記憶體浪費。

路線對比（定性，無具體廠商數值）：

維度	資料並行+AllReduce	ZeRO/FSDP	3D混合並行	推論編譯+量化	生成式推論專用系統
主要通訊模式	AllReduce	AllGather+ReduceScatter	綜合（AllReduce+P2P）	無/極微	極少
瓶頸	跨節點網路頻寬	引數allgather通訊	多維通訊排程+氣泡	視訊記憶體頻寬、計算單元利用率	視訊記憶體容量與KV快取管理
典型擴充套件範圍	數百卡	數百至千卡	千卡至萬卡	單卡/單節點	單卡/單節點
吞吐特徵	高吞吐但模型規模受限	解鎖更大型模型和batch	可訓練超大型模型並維持高吞吐	追求極致單卡吞吐以降低服務成本	突破性提升高併發下的吞吐與視訊記憶體效率

上游

吞吐能力的物理上限由上游硬體和基礎軟體共同決定：

半導體與硬體層：

• 加速計算晶片：GPU（NVIDIA H100/B200系列、AMD Instinct MI300系列）、TPU、NPU（華為昇騰等）。核心吞吐指標包括理論峰值FLOPS（FP16/BF16/FP8/INT8等不同精度）、張量核心架構代數、片上快取層次與頻寬。以NVIDIA H100（2022年釋出，SXM規格）為例，FP16 Tensor Core峰值約1979 TFLOPS（NVIDIA官方資料）；AMD MI300X（2023年釋出）FP16峰值約1300 TFLOPS（AMD官方資料）。不同精度下的吞吐上限差異顯著，是硬體選型首要引數。
• 高頻寬記憶體（HBM）：HBM2e、HBM3、HBM3e持續提升容量（每棧24GB→36GB→更大）與頻寬（每TB/s量級提升）。HBM頻寬直接決定算術強度較低運算元的吞吐上限，是推論吞吐的硬約束。先進封裝（如台積電CoWoS-S/R/L、英特爾EMIB）實現邏輯晶片與HBM的高密度互聯，片間頻寬對張量並行的通訊效率至關重要。
• 片間與節點間互聯：NVLink（第四/第五代）、NVSwitch、PCIe 5.0/6.0決定單機內多卡通訊頻寬。以NVIDIA NVLink第四代（H100）為例，單GPU提供900GB/s的片間總頻寬（NVIDIA規格書）。節點間通訊依賴InfiniBand NDR/XDR（400Gbps/埠）或乙太網路RoCE v2。超頻寬交換器（如NVIDIA Quantum-2/3系列）和拓撲架構（如Fat-Tree、DragonFly+）決定萬卡叢集的混合並行吞吐天花板。
• 其他：伺服器主機板PCIe鏈路數量與拓撲、網路介面卡解除安裝引擎、NVIDIA BlueField DPU等輔助通訊處理器，均間接影響吞吐可用性。

基礎軟體與韌體層：

• CUDA與驅動：CUDA版本、驅動版本決定了可用的運算元庫特性與編譯最佳化程度。GPU韌體排程器影響流多處理器指令發射效率。
• 通訊中介軟體：NVIDIA NCCL（集合通訊庫）持續迭代Ring/Tree/Net演算法，支援GPUDirect RDMA繞過CPU記憶體實現卡間直接資料搬移，是維持多卡吞吐擴充套件的關鍵。AMD RCCL對標NCCL，穩定性與最佳化程度仍處於追趕期（公開資料未見其與NCCL在同等規模叢集下的同步效率基準）。
• 編譯器後端：PTX/SASS（NVIDIA）或ROCm對應層級生成實際機器指令。該層最佳化影響計算吞吐的實現程度。

下游

吞吐能力通過中游系統棧最終服務於實際應用層：

中游分散式訓練架構與庫：

• PyTorch Distributed、TensorFlow、JAX分散式API，集成了上述資料並行、模型並行等策略的原語。
• 訓練庫：Megatron-LM（張量+流水線並行參考實現）、DeepSpeed（ZeRO系列最佳化與混合並行排程）、Colossal-AI（異構並行最佳化）。它們向上層開發者遮蔽具體的通訊策略和記憶體管理，通過少量配置引數即可影響訓練吞吐。
• 實驗管理：W&B、MLflow等實驗追蹤工具記錄吞吐曲線，輔助排查調優決策。

中游推論引擎：

• 通用編譯最佳化：TensorRT、ONNX Runtime、OpenVINO，提供從模型轉換到部署最佳化的全流程，以運算元融合和精度壓縮為主要手段。
• 生成式模型專用引擎：vLLM、TensorRT-LLM、LMDeploy、SGLang、llama.cpp，整合PagedAttention、Continuous Batching、量化推論（GPTQ/AWQ）等專用技術，直接決定線上LLM服務可達到的吞吐與成本。

下游應用與服務業態：

• 模型訓練即服務（Training as a Service）：雲端廠商的GPU叢集和訓練平台（如AWS ParallelCluster、阿里雲端PAI、華為ModelArts）以訓練吞吐和訓練總時長為關鍵SLA指標，吞吐高則交付快、客戶費用低。
• 模型即服務（MaaS, Model as a Service）：OpenAI API、Anthropic API、國內百度文心/阿里通義千問等API服務，其定價模型（按Token計費）直接取決於推論系統吞吐。單卡/單節點吞吐越高，單Token成本越低，商業定價空間越大。
• 端側/邊緣側部署：在手機、PC、汽車等端側執行大型模型（如高通驍龍平台、Apple Neural Engine），受功耗和熱約束，推論吞吐是決定離線可用性或端雲端協同策略的核心引數。

使用者側關心的“服務響應快不快”“費用是否可接受”，底層均由開發者通過吞吐最佳化策略應對。

受益公司

（本段僅描述與吞吐提升技術路徑相關的公開業務聯絡，不構成投資建議或交易推薦。）

• NVIDIA：全球AI訓練與推論吞吐的事實標準制定者。其資料中心GPU（H100/B200等，分別於2022/2024年釋出）配合NVLink/NVSwitch、InfiniBand（通過收購Mellanox獲得）及CUDA生態（含TensorRT、NCCL），形成計算-通訊-編譯高度協同的吞吐最大化閉環。NVIDIA FY2024（截至2024年1月）資料中心營收475億美元（年增率增長超200%），受益於大規模叢集對高吞吐/高擴充套件效率的剛性需求（NVIDIA年度財報公開資料）。
• AMD：Instinct MI300X（2023年釋出）和ROCm軟體棧，面向HPC與AI工作負載，通過高HBM頻寬（MI300X提供192GB HBM3、5.3TB/s頻寬，AMD官方資料）在推論吞吐指標上對NVIDIA部分產品形成競爭。ROCm生態成熟度和多卡擴充套件效率是決定其吞吐競爭差異的關鍵變數。
• 博通（Broadcom）/ Marvell：定製ASIC（如Google TPU、AWS Trainium/Inferentia背後的定製晶片）設計服務商。雲端巨頭通過定製晶片在內部工作負載上實現極致的功率-吞吐比，從而降低對外採購依賴。
• Arista Networks/ Cisco / NVIDIA（Mellanox）：高速乙太網路交換器與InfiniBand裝置供應商。網路埠的頻寬密度直接影響萬卡叢集的RoCE/InfiniBand通訊吞吐，是叢集線性擴充套件效率的硬體底座。Arista的多層交換架構在AI叢集中被廣泛採用。
• 三星電子/ SK海力士/ 美光：HBM3/HBM3e供應商（三星、SK海力士）、HBM封裝基板與先進封裝產能（台積電CoWoS）。HBM的容量和頻寬突破是GPU吞吐持續倍增的物質前提，且近年始終供不應求（TrendForce等多源市調機構資料）。
• 專注推論吞吐的晶片創業公司：如Groq（基於存內計算架構的LPU，宣稱大型模型推論生成速率遠超傳統GPU，2024年公開展示後獲得大量關注），以及Cerebras（晶圓級引擎WSE-3，2024年釋出，為超大規模模型推論提供高吞吐平台）。它們均在特定指標上突破傳統GPU的吞吐極限，但生態侷限性制約其通用性。
• 公有雲端廠商：Amazon Web Services（Trainium2/ Inferentia2自研晶片）、微軟Azure（Maia AI加速器）、Google Cloud（Cloud TPU v5p）、阿里雲端（含平頭哥含光系列或第三方GPU例項）、華為雲端（昇騰例項）。它們在自研晶片與第三方GPU間組合，向上交付“吞吐-成本”差異化例項，並以此作為獲客與盈利核心槓桿。
• 推論引擎與系統軟體提供商：vLLM(UC Berkeley開源、Anyscale商業化支援）、NVIDIA TensorRT-LLM開源最佳化庫、OctoAI（已被AMD收購）等。它們將吞吐最佳化固化為軟體方案，降低應用層開發門檻。公開資料未見這些私營企業的獨立營收資料。

市場規模

（注：由於公開的第三方市場研究資料多數不直接以“吞吐最佳化技術市場”為統計口徑，本段綜述相關硬體、軟體和服務市場的規模，來自多家公開報告交叉引用，儘量標註來源、年份與口徑。）

• AI加速器市場規模：據IDC 2024年初報告，2023年全球AI伺服器（含GPU、定製ASIC等）市場營收約XX億美元（IDC Worldwide Quarterly Server Tracker, 2024Q1釋出）；其中GPU加速卡市場核心受訓練和推論吞吐需求驅動。Futurum Group估計2023年資料中心GPU出貨營收超400億美元，NVIDIA佔據約98%份額（Futurum Group，2024年3月部落格引用Mercury Research資料）。
• HBM市場：TrendForce（2024年4月報告）估算2024年HBM市場規模約150億–180億美元，年增率增長超100%，由AI大型模型吞吐需求拉動的HBM3/HBM3e出貨量爆發。三星與SK海力士佔據主要供應份額（TrendForce 2024年Q1與Q2連續報告）。
• 高速網路裝置市場：據Dell’Oro Group 2024年1月報告，AI後端網路（用於連線GPU/NPU的訓練/推論通訊網路）市場預期2027年將達到100億美元量級，InfiniBand及高速乙太網路（400G/800G埠）交換器份額競合，核心驅動是確保萬卡叢集的通訊吞吐與擴充套件效率。
• AI雲端服務（MaaS與訓練服務）：Synergy Research 2024年Q1報告顯示，全球公有雲端基礎設施服務市場（含IaaS和PaaS）季度營收已達760億美元級別，其中AI workload增速最快，直接拉動GPU例項與模型API的消耗。IDC 2024年初報告保守估計，2027年全球AI平台軟體和AI雲端服務市場規模超1500億美元（IDC Worldwide AI Platforms Software Forecast, 2024），推論吞吐直接決定模型服務API的盈利模型。
• 中國本土市場：據IDC中國、賽迪顧問等多源資料，2023年中國AI伺服器市場規模約80億–100億美元量級（具體統計口徑因含國產GPU/NPU而異，公開報告存在交叉引用差異），國產AI晶片（華為昇騰、寒武紀等）的佔比在政策推動下持續增加，訓練吞吐與叢集擴充套件效率是國產替代進度核心衡量標準。公開資料未見統一的“吞吐最佳化軟體與服務”單獨市場統計。

（以上來源均為行業分析機構公開摘要資料，具體數值因付費報告壁壘可能存在不同版本差異，引述僅為提供量級參考。）

玩家對比

（基於公開技術白皮書與社群基準測試的定性對比，不含任何主觀優選結論。不同精度、架構版本和測試條件可能導致顯著差異，嚴禁據此直接採購。）

維度	NVIDIA GPU（H100/H200/B200）	AMD Instinct MI300X	Google Cloud TPU v5p	華為昇騰910B	Intel Gaudi 3
公佈FP16峰值（非稀疏）	H100 SXM: ~1979 TFLOPS（2022）	~1300 TFLOPS（2023）	~459 TFLOPS/晶片（2023）	公開資料未見官方峰值FLOPS	~1835 TFLOPS（2024釋出）
HBM容量與頻寬	H200: 141GB/4.8TB/s（2024）	192GB/5.3TB/s（2023）	95GB/晶片（HBM2e, 2023）	公開資料未見完整規格	128GB/3.7TB/s（2024）
片間互聯頻寬	NVLink 4: 900GB/s（H100），NVLink 5（B200）進一步提升	Infinity Fabric: 896GB/s（MI300X）	ICI（高速互聯）：約600GB/s?	HCCS互聯：公開資料未詳	乙太網路RoCE，無專用片間高速匯流排
訓練吞吐生態成熟度	成熟，Megatron/DeepSpeed全面適配，NCCL高度最佳化	ROCm+RCCL支援FlashAttention、ZeRO等，仍在快速迭代	JAX+Pathways深度耦合，TPU Pod可擴充套件至數萬片	CANN+MindSpore適配，社群生態較NVIDIA仍小	Gaudi Software Suite，擁抱PyTorch，Hugging Face合作
推論吞吐關鍵方案	TensorRT-LLM + H100/B200，High-Throughput方案豐富	ROCm + vLLM/MIGraphX，公開基準較少	Cloud TPU v5e/v5p + JetStream推論引擎	MindSpore Lite/CANN推論	Gaudi 3宣稱對標H100在大型模型推論吞吐上有競爭力

綜合評述（定性）：

• NVIDIA得益於長期生態積累與NVLink+InfiniBand硬體協同，目前在訓練和推論吞吐的總包方案成熟度上保持領先。眾多公開的MLPerf Training/Inference基準結果均以此生態為基礎（MLCommons官網，2023–2024各輪次提交）。
• AMD MI300X在HBM容量與頻寬規格上佔有優勢，對特定推論工作負載（KV快取容量敏感型大語言模型）在單卡吞吐上可能獲得競爭力，但ROCm社群生態與NVIDIA的差距仍構成多卡擴充套件吞吐上的明顯壁壘。
• Google TPU v5p與自研JAX架構深度耦合，可在其Pod級超算中實現較高的線性擴充套件吞吐，但可遷移性低，使用者鎖定於GCP。
• 華為昇騰910B在中國大陸的政策效能源與信創推動下快速部署，MindSpore與CANN的生態最佳化正加速追趕，但在公開國際基準的吞吐對比資料極為有限。
• Intel Gaudi 3放棄專用片間匯流排，選擇標準化乙太網路，旨在降低生態鎖定成本，但其訓練吞吐需在真實大規模叢集中得到驗證。

風險

（本節分析影響吞吐能力演進的風險因素，不代表任何證券價格走勢判斷。）

1. 工藝與封裝產能約束：吞吐升級高度依賴先進工藝（如台積電3nm/4nm）和先進封裝（CoWoS-L等）。HBM和GPU均爭奪同一封裝產能池。TrendForce與臺媒《經濟日報》2023-2024年多次報道CoWoS產能供不應求，若產能擴充速度無法匹配吞吐需求增速，將使全球AI算力部署延遲，並導致硬體採購成本長期高企。

2. 記憶體牆與功耗牆的物理限制：儘管計算峰值每代倍增，但DRAM頻寬增速較慢，大型模型推論吞吐的“記憶體牆”越來越難逾越。同時，單卡功耗已逼近千瓦級（NVIDIA B200參考功耗約1000W，2024年公開資訊），更高吞吐帶來的供電與散熱挑戰可能使資料中心TCO中的非計算成本佔比上升，稀釋吞吐增益的經濟賬。

3. 通訊拓撲的擴充套件瓶頸：從千卡到萬卡再到十萬卡，通訊拓撲復雜度指數級增加。集合通訊時延/抖動、網路故障收斂時間等都會影響有效吞吐。存在物理定律層面的擴充套件效率遞減風險，即增加更多卡帶來的吞吐增益逐步趨於零。

4. 軟體生態鎖定與重構風險：現有吞吐最佳化方案大量依賴特定廠商的私有庫（如TensorRT-LLM對NVIDIA GPU架構的指令級最佳化、NCCL通訊原語等）。一旦供應鏈或地緣政治因素（如出口管制）影響硬體可獲性，使用者轉向其他硬體時將面臨吞吐驟降的移植陣痛。開源開放方案（如OpenXLA、PyTorch原生torch.compile、ONNX等）進展不確定，存在投入生態鎖定成本沉沒的風險。

5. 最佳化技術收益遞減：經過量化、稀疏化、運算元融合、投機取樣等系列最佳化，推論吞吐的“低垂果實”大多已被摘走。後續每提升10%吞吐所付出的演算法與工程成本顯著上升，可能面臨ROI不合算的拐點。訓練側類似，MFU從30%最佳化到60%與從60%最佳化到65%的投入完全不成比例。

6. 基準失真與指標單一化：廠商可能會針對MLPerf等公開基準過度最佳化特定模型和批次，而真實業務環境的多樣負載下吞吐可能大幅縮水。使用者若僅憑單一吞吐數字採購，可能會在實際部署中遭遇吞吐塌陷。另，部分對延遲敏感的應用（如自動駕駛）根本不允許以透支延時的代價推高吞吐。

誤讀糾偏

• 誤讀1：“吞吐等同於理論峰值FLOPS” 實際工作負載中，絕大多數模型的理論MFU遠低於100%，常常在30%–60%（訓練）或更低。浮點運算執行受到通訊頻寬、視訊記憶體頻寬、核心啟動開銷、非計算型運算元佔比等多種因素制約。硬體選型不能僅看白皮書峰值算力，需結合目標模型在實際系統上的吞吐基準測試（preferably 來自MLPerf或獨立社群如MLCommons的結果）。

• 誤讀2：“加大batch size總能線性提升吞吐” Batch size在一定範圍內提升可攤薄系統開銷，利用率上升；但超出視訊記憶體邊界需要梯度累積或交換，或進入計算瓶頸，吞吐增長趨於飽和甚至下降。更大的batch size還可能需要重新調整學習率等超引數，影響模型收斂性和最終精度，這也是“吞吐-質量權衡”的組成部分。

• 誤讀3：“推論吞吐只需最大化每秒請求數，延時無所謂” 所有線上服務均在使用者可接受的延遲視窗內才有意義。單純開放併發數衝高QPS會造成每個請求的排隊延遲暴增、P99失控。工程上必須設定延遲SLO（如P99 Token生成間隔<100ms），然後在此約束下最大化吞吐。吞吐和延遲的Pareto前沿才是評價推論系統性能的科學架構。

• 誤讀4：“用了最新GPU，吞吐一定暴增” 硬體換代若不配套更新軟體棧、運算元庫、編譯最佳化和通訊配置，實際吞吐可能提升遠低於紙面數值。比如新GPU往往需要新版CUDA、適配的運算元融合與分散式策略方能發揮架構改進帶來的吞吐增益。存在“軟體滯後硬體”的典型部署風險。

• 誤讀5：“多卡訓練吞吐必然隨GPU數量線性增長” 受限於通訊開銷、流水線氣泡和負載不均衡，超過一定規模後吞吐擴充套件效率顯著下降。萬卡叢集的擴充套件效率能夠維持在90%以上已屬極度優秀。叢集規模數倍擴大但吞吐僅微弱增加的情況並非少見，此時需要對通訊拓撲、並行策略重新設計。

最新事件

（截至2025年5月前後的公開事件與揭露，按時間粗略倒序列舉，僅陳述事實，不預測後續影響。）

• NVIDIA Blackwell Ultra與B200系列全面投產（預計2025年中）：NVIDIA在GTC 2025（2025年3月）釋出Blackwell Ultra系列規格，進一步拉高單卡推論吞吐上限（更高HBM3e容量與更大批次KV快取、更高FP4峰值）。同時展示了基於NVLink 5和NVSwitch在72-GPU單域下的高吞吐訓練能力（NVIDIA官方新聞室，2025年3月）。
• DeepSeek-V2/V3系列模型釋出，推動推論吞吐成為中國市場顯性KPI（2024–2025）：DeepSeek在2024年底至2025年初陸續釋出V2/V3大語言模型架構，其MoE設計及訓練/推論最佳化方案引發產業界廣泛討論單Token成本。多家中國雲端廠商迅速適配其模型並公開競標自身推論引擎的tokens/sec吞吐資料以顯示能力（多家廠商雲端服務產品更新公告，2025年Q1）。
• vLLM成為事實標準級推論引擎（2024–2025）：vLLM從UC Berkeley研究專案快速被AWS、Anyscale、多家中國雲端服務商採納為預設或推薦引擎，PagedAttention和Continuous Batching助推相同硬體下的高吞吐成為標配。其開源社群GitHub Star增長曲線與商業生態整合事件頻繁見於技術媒體（如The New Stack等，2024下半年至2025年初多篇報道）。
• Groq與Cerebras獲得大規模公共雲端與政企客戶部署（2024–2025）：Groq基於其LPU架構在2024年公開展示Llama 3 70B模型實現每秒超500 Token生成速率後，獲沙烏地阿拉伯等多筆大規模意向訂單（公開媒體報道，2024–2025年）。Cerebras的WSE-3晶圓級引擎公佈了單晶片訓練和極高吞吐推論的演示，並在G42等合作中獲得部署（Cerebras官方部落格，2024-2025）。
• MLPerf Inference v4.0/v4.1釋出，關注生成式LLM吞吐基準（2024）：MLCommons於2024年釋出MLPerf Inference v4.0，新增GPT-J等大語言模型基準，並引入“離線吞吐”和“伺服器延遲約束吞吐”兩種模式。各家加速器廠商提交結果顯示出TensorRT-LLM與定製推論方案的吞吐競爭（MLCommons官網結果頁，2024年初/中）。
• 中國國產AI晶片吞吐鏈最佳化穩步推進，華為昇騰910C揭露最新規劃（2024–2025）：華為在2024年秋的全聯接大會上揭露昇騰910C及CANN 8.0的進展，強調在大型模型訓練吞吐效率上與A100的競爭性（華為官方新聞，2024年9月）。同時，寒武紀等國產晶片在推論吞吐基準上開始見到第三方獨立評測資料（公開技術部落格與社群測評，2024年，暫無標準化資料）。

追蹤指標

持續追蹤深度學習吞吐的技術與商業健康度，可關注以下量化與事件型訊號：

硬體層：

• NVIDIA/AMD/Intel等各代資料中心GPU的官方標稱峰值FLOPS、HBM容量與頻寬、片間互聯頻寬更新頻率（通常每年至每兩年重大更新）。
• MLPerf Training與Inference各輪次吞吐提交結果，關注不同系統規模（單卡/8卡/大叢集）和不同主流模型的tokens/sec、samples/sec、QPS以及對應的延遲約束。
• 台積電CoWoS/Samsung H-Cube等先進封裝產能季度法說會或市調機構（如TrendForce）追蹤，直接體現HBM與大規模GPU的供給彈性。

軟體生態與基準層：

• 主流訓練架構（PyTorch, JAX, DeepSpeed, Megatron-LM）新版Release Note中是否出現針對吞吐提升的關鍵Feature（如新的分散式API、ZeRO變體、通訊排程最佳化）。
• 推論引擎生態變更：vLLM、TensorRT-LLM、SGLang各版本引入的吞吐最佳化技術（如KV快取壓縮、投機解碼變種），其影響可在對應的社群效能基準Dashboard上追蹤。
• 新興基準或指標：如MLPerf Mobile/Edge推論吞吐、TPOT（吞吐-延遲乘積）的行業採納程度，是否出現面向大型模型MoE架構的新型吞吐基準。

產業與公司訊號：

• GPU雲端例項價格與供應可得性：雲端大廠（AWS、Azure、阿里雲端等）GPU例項的按時租用價格變動方向和庫存狀態，反映了總體吞吐供給與需求的平衡關係。
• 頭部模型API定價下調：如OpenAI GPT系列/Claude/國產大型模型每次降價的公告往往隱含推論吞吐最佳化取得顯著進展、單Token成本降低的資訊。
• 網路裝置廠商財報中AI後端網路營收：Arista、NVIDIA Networking等季度營收中AI相關部分增長情況，可側面推算大規模訓練叢集的通訊吞吐升級步伐。

政策與替代指標：

• 美國商務部BIS出口管制清單更新頻率及對高階GPU/HBM的引數閾值調整。一旦高階吞吐硬體獲取受限，追蹤二手市場或合規變體型號的現貨吞吐基準將成關鍵。
• 中國國產AI晶片在公開雲端和大客戶處的部署規模與吞吐公開基準，如“昇騰+CANN”在特定模型上與同代NVIDIA方案的實際訓練吞吐對比（若能獲取）。

信源

（以下為領域常用的權威來源類別及代表名稱，均可在公開渠道檢索。由於本次檢索功能暫不可用，未附具體URL或DOI。）

• 硬體規格文件：NVIDIA H100/B200/H200等產品白皮書，AMD MI300X官方資料表，Intel Gaudi3產品頁面，華為昇騰硬體規格頁；台積電CoWoS先進封裝技術檔案。
• 分散式訓練文獻：《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism (Shoeybi et al.)》、DeepSpeed ZeRO論文系列（Rajbhandari et al.）、GPipe（Huang et al.）、PipeDream（Narayanan et al.）、Alpa（Zheng et al.）關於自動並行吞吐最佳化的論文。
• 推論最佳化論文與開源專案：vLLM《Efficient Memory Management for Large Language Model Serving with PagedAttention (Kwon et al.)》、FlashAttention系列（Dao et al.）、Speculative Decoding（Leviathan et al., Chen et al.）、TensorRT-LLM官方文件與開原始碼庫。
• 基準與競賽：MLCommons MLPerf Training/Inference官方結果與白皮書（www.mlcommons.org）、Hugging Face Open LLM Leaderboard（側重精度，配套吞吐可選）、Papers with Code排行榜。
• 行業分析機構：IDC（全球AI伺服器與雲端服務追蹤）、TrendForce（HBM與封裝產能追蹤）、Dell’Oro Group（AI網路裝置預測）、Mercury Research（GPU市場份額）、Futurum Group / SemiAnalysis（行業深度技術-商業分析，注：後者含推測性內容，需交叉驗證）。
• NVIDIA/AMD季度財報與電話會記錄：SEC Filing（10-K/10-Q），含資料中心營收、產品迭代計劃宣告。
• 技術媒體：AnandTech、ServeTheHome（伺服器與網路硬體實測）、The Next Platform（HPC/AI系統架構分析）、HPCwire、Semiconductor Engineering、IEEE Spectrum。
• 社群技術部落格：PyTorch官方部落格、Hugging Face技術部落格、NVIDIA技術部落格、Google Research Blog（TPU與JAX更新）、華為昇騰社群（HCCS/CANN更新）、各大雲端廠商AI部落格。