有效算力
3 秒看懂
有效算力 ＝ (每步訓練/推論中被模型前向與反向傳播實際利用的浮點運算數) ÷ 執行時間。它剔除了理論峰值之外的所有“水分”——通訊等待、視訊記憶體頻寬瓶頸、流水線氣泡、冗餘重計算、排程開銷，最終凝結為真正“落袋”的計算能力。對訓練而言，有效算力決定模型收斂速度與成本；對推論而言，它直接決定吞吐與延遲能否在預算下達標。
3 分鐘產業解釋
在大型模型競賽中，採購 GPU 的數量只代表 理論峰值算力，最終產出取決於系統層面的 有效算力。兩者之間的差距往往懸殊：一片 GPU 的理論峰值可達上千 TFLOPS，但在千卡/萬卡叢集的真實訓練任務中，由於以下瓶頸：
- 張量並行的 AllReduce 梯度同步 佔用大量通訊時間，計算單元在此期間空閒；
- 流水線並行引入的 micro‑batch 填充與排空氣泡；
- 資料載入、預處理與梯度同步的 I/O 延遲；
- 為省視訊記憶體而引入的 重計算（Recomputation），消耗算力但對權重更新無額外貢獻；
- 記憶體頻寬限制了計算單元獲取資料的速度（“記憶體牆”）；
最終真正用於推進模型收斂的有效 FLOPs，通常僅為理論峰值的 40%–60%（行業公開估算，2024 年以來多個大型模型訓練復盤資料佐證）。這意味著，同等 GPU 規模下，有效算力高的一方可以用更短時間、更低成本訓練出同水平模型。
有效算力因此成為衡量 AI 基礎設施效率的 統一等價物，直接對映到 單位有效算力成本下的訓練/推論產出，是雲端廠商、大型模型公司和晶片設計者三方博弈的核心指標。
技術原理
核心公式
有效算力 (FLOPs/s) = 模型單步有效 FLOPs / 單步時間
其中：
- 模型單步有效 FLOPs：一次完整前向+反向傳播所需的最小理論矩陣乘加運算數
（排除重計算、梯度累積冗餘、計算圖外架構開銷）
- 單步時間 = 計算時間 + 通訊時間 + 流水線氣泡 + 軟體棧開銷MFU（Model FLOPs Utilization）
MFU = 觀測到的實際模型 FLOPs/s ÷ 硬體標稱理論峰值 FLOPs/s需嚴格區分兩個易混淆概念：
- MFU 對整體有效算力負責，分母為理論峰值，已包含通訊、氣泡、重計算等全部開銷，反映端到端硬體利用效率。
- 計算窗內利用率 僅衡量計算單元在工作時段內的飽和程度，不考慮通訊等非計算階段，不能替代 MFU 作為系統評價指標。
在張量並行場景下，單步訓練的時間切片可抽象為：
|-- GEMM 計算 --|-- AllReduce 梯度同步 --|-- GEMM 計算 --|-- 重複 --
↑ ↑
有效算力產出 通訊阻塞，計算單元閒置為提升有效算力，現代訓練架構會實行 通訊與計算重疊，將梯度同步分片並非同步啟動，與時序上的下一層計算並行：
|-- 計算 --|-- 計算+通訊重疊 --|-- 通訊 --|-- 計算 --|此時通訊時間部分被計算“掩蓋”，有效算力顯著提升。重疊度的極限受制於網路頻寬、拓撲及運算元編排粒度。
MoE（混合專家）模型的有效算力衝擊
MoE 架構引入 All‑to‑All 通訊 進行 token 分發與結果合併。該通訊模式在高 expert 數量、高 top‑k 時，時間佔比可超過 40%（行業公開資料，2024 年多個 MoE 訓練報告佐證），導致計算單元大量空轉。此時有效算力最佳化需在路由策略、容量因子和通訊拓撲三個維度聯合求解。
效率損失的解剖學
一次 GPU 訓練迭代的時間切片可細拆為：
| 時間片段 | 成因 | 對有效算力的影響 |
|---|---|---|
| 計算窗 | 矩陣乘/卷積實際執行 | 唯一“有效產出”時段 |
| 通訊窗 | AllReduce/All‑to‑All 梯度或啟用同步 | 計算單元閒置，降低 MFU |
| 記憶體等待 | HBM 頻寬不足，運算單元等資料 | 計算窗內利用率下降 |
| 流水線氣泡 | micro‑batch 填充/排空 | 部分裝置空閒 |
| 軟體棧開銷 | 核心啟動、驅動、架構 glue 程式碼 | 累積後可達數百分點 |
有效算力的提升，本質是對上述時間切片中“計算窗”佔比與“計算窗內利用率”乘積的最大化。
關鍵引數
| 引數 | 定義 | 行業參照（2024） | 資料來源 |
|---|---|---|---|
| MFU | 實際模型 FLOPs/s ÷ 理論峰值 FLOPs/s | 頂級 LLM 訓練叢集約 45%–55%，極端最佳化可達 60%–65% | 公開論文與 OpenAI/Meta/DeepSeek 技術報告推斷 |
| 通訊計算比（C/O ratio） | 通訊位元組數 ÷ 計算 FLOPs | 比值越高，MFU 越受壓；DD 大型模型 C/O 可達 0.3–0.8 | Megatron‑LM 論文及後續工程復現 |
| 流水線氣泡率 | 排空/填充空閒時間 ÷ 總迭代時 | 通常控制在 5%–15%，與微批數量和流水深度強相關 | GPipe/Megatron 原論文與公開工程總結 |
| AllReduce 時延 | 梯度同步耗時（ms） | 千卡叢集典型 2–8 ms（InfiniBand）或 10–30 ms（RoCE） | 網路廠商白皮書與公開叢集除錯日誌 |
| 重計算開銷 | 為省視訊記憶體重跑的 FLOPs 佔比 | 可佔單步總 FLOPs 的 25%–40%（隨啟用儲存策略而變） | FlashAttention 系列論文相關分析 |
| 運算元記憶體頻寬利用率 | 實際資料搬運吞吐 ÷ HBM 理論頻寬 | 理想 85%–95%，偏低時淪為記憶體牆瓶頸 | NVIDIA Profiler 最佳實踐與公開案例 |
以上引數需在具體模型與硬體組合下聯合分析，不可孤立比較。
技術路線
並行策略對有效算力的定性影響
| 並行策略 | 計算效率 | 通訊特徵 | 有效算力控制要點 | 代表性架構 |
|---|---|---|---|---|
| 純資料並行（DP） | 高（本地計算密集） | 梯度 AllReduce，隨卡數線性增 | 小規模 MFU 高；大規模受通訊頻寬限制 | PyTorch DDP, Horovod |
| 張量並行（TP） | 中等 | 層內高頻 AllReduce，對互聯頻寬要求極高 | 嚴重依賴 NVLink/ICI 等高速片間互聯 | Megatron‑LM |
| 流水線並行（PP） | 中等（氣泡損失） | 點對點通訊，資料量小 | 微批大小與流水深度決定氣泡率 | GPipe, Megatron‑LM |
| 序列並行（SP） | 高（通訊規整） | AllGather/ReduceScatter | 與 TP 搭配，減少啟用視訊記憶體壓力，間接釋放算力 | Megatron‑SP, DeepSpeed Ulysses |
| 專家並行（EP） | 中等偏低 | All‑to‑All 通訊為關鍵瓶頸 | token 路由均衡與通訊融合決定 MFU 上限 | DeepSpeed MoE, Switch Transformer |
| 混合並行（3D） | 依配置浮動 | 上述疊加，通訊模式複雜交叉 | 需自動並行搜尋與自適應排程，非人工可窮盡 | Megatron‑DeepSpeed 全家桶 |
硬體路線定性比較
- GPU（NVIDIA/AMD）：通用性強，CUDA/ROCm 生態成熟，但高 MFU 依賴大量手工工程調優，人力成本高昂。
- TPU（Google）：脈動陣列架構 + 高速 ICI 片間互聯，針對 Transformer 類負載 MFU 開箱即用度較高，但通用計算靈活度受限。
- 自研 ASIC（AWS Trainium、華為昇騰等）：可針對本廠主流模型定製資料流以壓縮非計算窗，上限高但遷移成本與生態封閉性為硬約束。
- Cerebras/SambaNova 等晶圓級/流式架構：以超大晶片面積和獨特資料流排程規避傳統通訊瓶頸，在特定負載下有效算力極高，但通用軟體生態尚在建設期（截至 2025 年 Q1 公開資料未見大規模外部客戶生態）。
上游
有效算力的上游涵蓋從電晶體到網路拓撲的全鏈條：
- 晶片 IP 與計算單元：Tensor Core/Matrix Engine 的精度支援、佔空比設計、指令排程架構。
- 片內快取與記憶體子系統：HBM 位寬、頻率、層次化快取（L1/L2/Register File）容量與頻寬，決定計算單元是否捱餓。
- 片間互聯（Die‑to‑Die & Chip‑to‑Chip）：NVLink、Infinity Fabric、ICI 的頻寬與延遲，是 TP/EP 下 MFU 的生命線。市場規模方面，2024 年全球 AI 晶片互聯 IP 市場約 28–35 億美元（第三方半導體研究機構估算，口徑含授權費與設計服務，公開資料未見精確統一數字）。
- 網路裝置：InfiniBand 交換器與網絡卡、RoCE 乙太網路方案、光模組。2024 年全球 InfiniBand 市場規模約 40–48 億美元（行業分析報告口徑），領頭廠商佔據絕對份額。
- 伺服器與供電散熱：液冷滲透率加速（2024 年中國智算中心液冷比例突破 30%，工信部相關報告引用），供電穩定性與晶片降頻策略直接關聯持續 MFU 水平。
下游
下游使能層是將上游硬體“紙面算力”轉化為有效算力的直接執行者：
- 分散式訓練架構：PyTorch FSDP、DeepSpeed、Megatron‑LM、Colossal‑AI。其提供的 ZeRO 最佳化器分階段、通訊‑計算重疊、自動混合精度等，是 MFU 的直接操盤手。
- 編譯器與運算元庫：XLA、TVM、TensorRT、Triton。通過運算元融合、訪存最佳化、自動 tiling 提升計算窗內利用率。2024 年 Triton 等開源 DSL 在頭部大型模型團隊中的採用率快速上升（公開技術報告推斷，缺乏精確統計）。
- 叢集排程與作業管理：Slurm、Volcano、自研排程器。減少碎片化排程和排隊等待，提升叢集級有效算力產出比。
- 監控與可觀測性平台：NVIDIA Nsight、PyTorch Profiler、商業 MLOps 工具，提供 MFU、通訊耗時佔比、氣泡率等即時指標，是有效算力調優的儀表盤。
受益公司
按產業鏈位置劃分（公開資訊，截至 2025 年 Q1，不含任何投資評等或股價判斷）：
| 型別 | 代表企業 | 與有效算力的關聯 |
|---|---|---|
| GPU/加速器 | NVIDIA, AMD, Intel | 硬體峰值算力與互聯能力為 MFU 的物理天花板 |
| 自研晶片雲端廠 | Google (TPU), AWS (Trainium), 華為 (昇騰), 百度 (崑崙) | 通過軟硬協同提升自有負載 MFU，降低外部採購成本 |
| 網路裝置 | NVIDIA (Mellanox), Arista, Broadcom, 華為 | 高效能交換器/網絡卡決定通訊窗大小，直接影響 MFU |
| 光模組與互聯 | 中際旭創、Coherent、Marvell | 光電共封裝、LPO 等新型光互聯降低通訊延遲與功耗 |
| 雲端運算 | 微軟 Azure, AWS, Google Cloud, 阿里雲端, 位元組火山引擎 | 有效算力是其 AI IaaS 競爭力的核心度量 |
| 大型模型廠商 | OpenAI, Anthropic, Meta, DeepSeek, X.AI, 國內頭部 LLM 公司 | MFU 極端最佳化需求的提出者與先行者，反向驅動供應鏈迭代 |
| 系統軟體/編譯器 | SambaNova, Cerebras, Modular, 國內編譯最佳化初創 | 以 AI 編譯器、自動並行化中介軟體提升跨平台有效算力 |
| 液冷/基礎設施 | Vertiv, 曙光數創, 英維克 | 散熱決定晶片持續高頻執行上限，間接影響有效算力穩定性 |
市場規模
由於“有效算力”本身為效率度量而非直接交易標的，市場規模需從關聯市場間接量化。以下數字基於 2024–2025 公開行業報告（口徑：全球）：
- AI 晶片市場：2024 年全球約 900–1100 億美元（Gartner/IDC 等口徑綜合區間），有效算力競爭倒逼架構升級與互聯強化，推高客單價。
- AI 伺服器市場：2024 年約 320–380 億美元（IDC 口徑），高有效算力方案（液冷+高效能網路+定製主機板）佔比快速提升。
- AI 網路裝置市場：2024 年約 60–75 億美元（InfiniBand+高速乙太網路合計，650 Group/Crehan 等引用），增速顯著高於傳統網路。
- AI 軟體與最佳化工具市場：2024 年約 22–30 億美元（公開資料未見統一權威統計，綜合多項第三方分析的大致區間），含分散式訓練架構、編譯器、效能分析工具的付費服務與商業授權。
需求端：千億/萬億引數模型對有效算力的需求增速約 200%–300%/年（以訓練總有效 FLOPs 計，Epoch AI 等公開估算），資料表明單靠晶片峰值算力提升已無法滿足，有效算力最佳化開啟結構性增值空間。
缺口：高有效算力（MFU>55%）的整叢集交付能力目前集中於極少數供應商，市場存在明確供需缺口，驅動自研晶片、CXL 互聯、光互聯等替代性技術投資——2024 年全球 AI 基礎設施軟體與新型互聯領域風投/產業投資總計超過 80 億美元（Crunchbase/Pitchbook 公開彙總，口徑含早期至成長期）。
玩家對比
以下對比側重“有效算力”相關的核心能力維度，基於公開產品規格與技術社群反饋（2024–2025 年初）：
| 玩家 | 硬體優勢 | 軟體/生態成熟度 | MFU 典型表現（公開資料推斷） | 主要短板 |
|---|---|---|---|---|
| NVIDIA H100/H200+B200 路線 | Tensor Core + NVLink + NVSwitch 全棧 | 業界最成熟，CUDA 生態鎖定 | 千卡 MFU 50%–58%（公開復盤） | 供應受限，價格高 |
| AMD MI300X | 高視訊記憶體容量/頻寬，高 FP16 TFLOPS | ROCm 生態快速追趕但仍存差距 | 大規模公開 MFU 資料較少，小叢集可達 45%–55%（社群） | 互聯生態不如 NV 成熟 |
| Google TPU v5p/v6 | 脈動陣列+ICI 高頻寬，針對 Transformer 深度最佳化 | JAX 生態完善但封閉 | 萬卡級 MFU 傳言超過 60%（非公開資料） | 僅限 GCP，不對外銷售晶片 |
| AWS Trainium2 | 定製資料流，Neuron SDK 深度繫結 | 生態封閉，主要供內部及 AWS 客戶 | 公開 MFU 資料極少，Amazon 內部宣傳效率領先 | 外部生態零，遷移成本高 |
| 華為昇騰 910B/910C | 自研達芬奇架構，HCCS 高速互聯 | CANN + MindSpore 生態，國內相對完整 | 國內大型模型客戶 MFU 約 38%–48%（公開報道推斷） | 海外生態缺失，製程受限 |
| Cerebras CS‑3 | 晶圓級引擎，免傳統通訊瓶頸 | 專機專用，通用軟體生態有限 | 單機 MFU 極高（宣稱可比叢集水平），異構混合尚難 | 市場極小眾，僅限特定負載 |
注：MFU 資料受模型結構、並行策略、叢集規模、測量口徑影響極大，上表數字不可直接橫向排列，僅供定性參考。
風險
- 技術鎖定：有效算力最佳化高度依賴於特定硬體+軟體棧組合（如 CUDA+NVLink+Megatron）。一旦向自研 ASIC 或跨廠商遷移，前期最佳化積累可能大幅貶值，遷移成本與時間視窗不可低估。
- 邊際效益遞減：MFU 從 45% 提升至 55% 所需工程投入遠小於從 55% 提升至 60%。過度追求高 MFU 可能付出不成比例的人力與基礎設施複雜化成本。2024 年部分頭部實驗室已公開表示“80% 的 MFU 提升來自 20% 的工程量，剩下 20% 需要 80% 的專家時間”（行業公開經驗總結，未指向具體公司）。
- 硬體路線不確定性：光電共封裝、CXL 池化、3D 堆疊 HBM 等下一代技術標準化仍在演進中（截至 2025 年 3 月，CXL 3.0 大規模商用公開資料未見明確時間表），早期投資存在替代風險。
- 重計算依賴：當前高 MFU 方案常以視訊記憶體節省換重計算，若未來模型啟用量劇烈膨脹，重計算開銷可能吃掉全部 MFU 增益。
- 地緣與供應鏈風險：先進晶片、HBM、光模組核心供應高度集中在少數地區和供應商，貿易規則變化可直接衝擊有效算力硬體交付。
- 泡沫化擔憂：當“有效算力”成為市場熱詞，部分廠商可能推出含混定義（如“等效算力”“加速比”等非標準化指標），誤導客戶決策。公開標準（如 MLPerf）目前覆蓋率有限，資訊不對稱成本較高。
誤讀糾偏
誤讀 1：“堆的 GPU 越多，有效算力線性增長”
糾偏：多卡並行引入的通訊開銷、排程損耗和尾延遲會侵蝕增量。千卡到萬卡，MFU 通常顯著下降（行業公開復盤顯示，部分叢集從千卡擴至萬卡，MFU 下降 8–15 個百分點）。有效算力增長遠低於線性，互聯和拓撲成為硬天花板。
誤讀 2：“MFU 越高越好，其他不重要”
糾偏：高 MFU 僅表示硬體飽和，但若模型架構本身 FLOPs 效率低（過多非矩陣乘運算、碎片化運算元），高 MFU 可能投入到低效運算中。評估訓練效率，需同時觀察 收斂效率（Loss 下降/總有效 FLOPs）。有時為擴大全域性批處理或降低視訊記憶體壓力，適度犧牲 MFU 反而加速端到端收斂。
誤讀 3：“有效算力是硬體廠商單一責任”
糾偏：有效算力是“晶片‑互聯‑架構‑演算法”的垂直整合結果。算力硬體提供天花板，但 MFU 的提升需要訓練架構、編譯器、並行策略、甚至模型結構設計者共同協作。單純指責“晶片不好用”而忽視上層軟體適配是常見歸因謬誤。
最新事件
- DeepSeek‑V3（2024 年 12 月）：公開技術報告揭露萬卡級 MoE 模型的訓練 MFU 和控制通訊開銷的具體策略，引發業界對有效算力極致最佳化的新一輪關注。
- NVIDIA Blackwell 釋出與交付啟動（2024 年中–2025 年初）：第二代 Transformer Engine 及 NVLink 5 宣稱進一步降低通訊開銷，公開資料關注其千卡/萬卡 MFU 實測資料（截至 2025 年 3 月，大規模獨立測試資料有限）。
- AMD MI300X 大規模叢集部署：多朵雲端宣佈 MI300X 例項 GA，社群首批公開 MFU 基準測試開始在技術論壇流傳（2025 年 Q1），資料質量不一，可指示性有限。
- CXL 3.0 記憶體池化原型驗證：多家廠商展示基於 CXL 的記憶體共享方案，旨在緩解大型模型推論的 KV‑Cache 頻寬瓶頸（2024 年底行業展會公開演示），量產時間表尚未明確。
- UEC（超乙太網路聯盟）規範推進：面向 AI 最佳化的新型乙太網路協議進入 1.0 草案，目標為改善 RoCE 在大型模型訓練中的尾延遲與有效吞吐（2025 年 Q1 公開訊息）。
- MLPerf Training 4.1：新增 LLM 訓練 benchmark，提供不同硬體/架構組合下 MFU 推導的標準化參照（2024 年 Q4 釋出結果）。
追蹤指標
量化追蹤有效算力變化，建議持續觀察：
- 廠商 MFU 公開揭露：大型模型公司技術報告、MLPerf 成績中的可實現 MFU 數字（需記錄模型、並行策略、叢集規模等口徑）。
- AllReduce/All‑to‑All 時長佔總迭代時間比例：從訓練架構 profiling 工具獲取，核心反映通訊瓶頸。
- 流水線氣泡率與微批配置：架構日誌可採集，反映並行策略合理性。
- HBM 頻寬利用率：通過 GPU 效能計數器獲取，低於 80% 提示嚴重記憶體牆。
- KV‑Cache 命中率與推論有效吞吐：推論場景下衡量有效算力的關鍵代理指標。
- CXL/光互聯/新型網路的標準進展與產品落地節奏：前瞻判斷通訊瓶頸的技術解決方案成熟度。
- 雲端廠商 AI IaaS 報價是否開始以“有效算力·時”定價：標誌市場從“賣硬體”向“賣效率”轉型。
- 萬卡級以上叢集 MFU 下降曲線：公開資訊有限，但每次學術/產業報告中的資料點都極為珍貴，揭示規模擴充套件瓶頸。
信源
- 學術論文與 preprint：Megatron‑LM 系列（NVIDIA）、ZeRO 系列（Microsoft DeepSpeed）、FlashAttention 系列（Dao et al.）、Efficient Large‑Scale Language Model Training on GPU Clusters（Narayanan et al.）、DeepSeek‑V2/V3 技術報告。
- 行業基準與標準：MLPerf Training & Inference 結果頁（mlcommons.org）、Epoch AI 的 LLM 算力資料集與趨勢分析。
- 晶片/網路廠商公開資料：NVIDIA GPU 效能最佳化指南與白皮書、AMD ROCm 文件與公開技術部落格、Intel Gaudi 與 Google TPU 技術公開頁。
- 產業分析：SemiAnalysis（GPU 叢集 MFU 與 TCO 估算）、650 Group / Crehan（網路裝置市場份額）、IDC/Gartner（AI 晶片與伺服器市場口徑）、LightCounting（光互聯市場）。
- 社群與工程復盤：PyTorch Profiler 官方文件、NVIDIA Nsight Systems 最佳實踐、Hugging Face 技術部落格中關於大型模型訓練效率的揭露、CNCF/Volcano 等排程器公開案例。
宣告：本文所有財務數字均標註對應年份、口徑與公開來源；凡標註“公開資料未見”“行業估算”之處，均表示截至 2025 年 Q1 無法查證確切一致的可引資料，不作定量推斷與投資依據。本文不構成任何投資建議、買賣推薦或價格預測。