TFLOPS（每秒萬億次浮點運算）

3 秒看懂

TFLOPS（Tera Floating‑Point Operations Per Second，每秒萬億次浮點運算）是衡量計算系統每秒可執行浮點運算次數的核心指標，1 TFLOPS 代表每秒完成 10¹² 次浮點計算。在 AI 大型模型時代，它直接決定了模型訓練週期與推論服務延遲。

核心要點：

• 多精度定義：TFLOPS 需標註具體精度，AI 訓練主流為 FP16/BF16/FP8；推論常涉及 INT8/INT4（常以 TOPS 表示）；科學計算沿用 FP64。同一晶片在不同精度下的 TFLOPS 差異可達數倍。
• 理論峰值與有效吞吐：廠商宣傳的“峰值 TFLOPS”僅在無資料搬移開銷的理想狀態下成立；實際有效 TFLOPS 受制於記憶體頻寬、晶片間互聯時延與軟體運算元對映效率，實際利用率通常在 30%–60% 區間。
• 系統級算力量綱：單卡 TFLOPS 已進入數百級別（FP16/BF16），萬卡叢集理論總算力進入 ExaFLOPS（每秒百億億次）級別。一次千億引數模型訓練消耗的算力總量通常以“ExaFLOPS·天”為計量單位。

3 分鐘產業解釋

在 AI 產業話語體系中，TFLOPS 是算力的“通用貨幣”。隨著模型引數從 2018 年 BERT‑large 的 3.4 億膨脹至 2024 年 GPT‑4 量級（公開資料估計達千億至萬億引數），產研各界對 TFLOPS 的評價已從單一紙面峰值轉向多維度系統效能。

衡量指標進化路徑：

• 有效 TFLOPS = 峰值 × 利用率。利用率受運算元與大算力單元的對映效率、資料搬運開銷、多卡或多節點的通訊重疊度共同約束。
• 每瓦 TFLOPS（TFLOPS/W） ：資料中心受限於供電容量與散熱能力（據 Uptime Institute 2023 年全球資料中心調研，先進算力機櫃功率密度已逼近 30–60 kW/架），能效直接決定叢集可擴充套件的上限規模。
• 互聯‑TFLOPS 耦合：單節點算力再高，若跨節點通訊頻寬不足，叢集線性加速比將快速衰減。產業內常討論“每 TFLOPS 應配備多少位元組/秒通訊頻寬”，NVLink、Infinity Fabric 和 PCIe 各代頻寬成為定價與方案對比關鍵。
• 精度組合與動態範圍：BF16 通過保留 FP32 的指數位提供更大的動態範圍，適合混合精度訓練；FP8 推論（E4M3/E5M2 格式）為 2023–2024 年旗艦晶片標配，需搭配量化感知訓練與細粒度縮放因子策略以抑制精度損失。

產業演進方向是“異構拆解 TFLOPS”：主晶片提供密集矩陣算力，SmartNIC/DPU 解除安裝網路與儲存協議棧，存內計算（Processing‑in‑Memory）則在特定場景下繞過傳統儲存牆，三者協同以推遲 Amdahl 定律作用下的系統算力瓶頸。

技術原理

浮點運算與 FMA 指令

現代 AI 算力的本質是乘加器（Fused Multiply‑Add，FMA）單元的陣列化部署。一個 FMA 在一個時鐘週期內完成一次浮點乘法與一次浮點加法，硬體層面的計時器將其計為 2 次浮點運算（2 FLOPs）。

理論峰值 TFLOPS 的經驗表達為：

峰值 TFLOPS = 2 × 張量核數量 × 單核每週期 FMA 次數 × 時脈頻率（GHz）

例如（此為一則規模說明，非具體產品標定）：若一片加速器擁有 512 個張量計算單元、每個單元每週期可完成 256 次 FP16 FMA 操作、執行頻率 1.45 GHz，則 FP16 峰值 ≈ 2 × 512 × 256 × 1.45 × 10⁹ = 約 3.80 × 10¹⁴ 次運算/秒 = 380 TFLOPS（FP16）。

Roofline 模型與儲存牆

實際應用的計算吞吐受限於 Roofline 模型：當應用的運算強度（Operational Intensity，公式為“浮點運算總量/資料存取位元組總量”）低於硬體提供的“轉折點”時，實際吞吐完全受記憶體頻寬鉗制。

有效 TFLOPS = min(峰值算力， 記憶體頻寬 × 運算強度)

Transformer 類模型中小 batch inference（如單條查詢）的運算強度通常低於 1–2 FLOPs/Byte，而多數通用 GPU 的 HBM 頻寬與算力轉折點位於 5–10 FLOPs/Byte。該場景下晶片雖有數百 TFLOPS 紙面算力，實際吞吐可能僅發揮 15%–30%。

稀疏性驅動的 TFLOPS 增倍

輝達 Ampere 及後代架構引入結構化稀疏技術（如 2:4 模式）：在權重矩陣中每 4 個值強制保留 2 個非零值，硬體可在讀取時預先解碼掩碼，僅對非零值對發起乘加操作，在同等計算陣列物理規模下實現約 2 倍有效浮點吞吐。該增益需在訓練階段施加正則化約束並配合專用推論軟體棧（如 TensorRT 稀疏路徑），且可壓縮儲存空間與頻寬需求。

互聯拓撲與 TFLOPS 並行效率

千卡至萬卡叢集中，張量並行（Tensor Parallelism）需在每個 Transformer 層的前向/反向中執行一次 All‑Reduce 或 Reduce‑Scatter，若單步通訊耗時大於計算耗時，則計算單元被迫空閒等待，有效 TFLOPS 快速下行。工程解決方法包括：

• 提升節點內互聯頻寬（如 NVLink‑Switch，據公開資料，輝達 DGX 系列節點內雙向頻寬可達 900 GB/s 以上），壓縮單次歸約時間；
• 將通訊與計算重疊（使用 GPU 的複製引擎或網路計算解除安裝）；
• 採用專門通訊原語庫（如 NCCL）的梯度融合與分層 All‑Reduce 策略，將跨機架的低速鏈路負載降至最低。

關鍵引數

評價一塊 AI 加速晶片 TFLOPS 能力的核心量化維度：

• 分精度的峰值 TFLOPS：FP64、FP32、FP16、BF16、FP8 各精度下的理論值，廠商通常在規格書列表給出。
• 實測 TFLOPS（有效吞吐） ：通過 MLPerf Training 與 Inference 等公開基準測試獲得的實際運算吞吐，通常對比峰值後得到利用率。
• TFLOPS/W：每瓦電功率對應的最高算力。來自公開規格頁面（如 2024 年輝達 H100 SXM 標稱 700 W、FP16 約 990 TFLOPS，折算約 1.41 TFLOPS/W；GH200 與 B200 數值待權威第三方驗證公開資料未見統一功耗‑算力聯合實測條件）。
• TFLOPS/$：硬體採購成本（單位：美元或人民幣）摺合每 TFLOPS 價格，受供應週期、渠道加價與區域差異影響極大，不適合無時間視窗與地域限定的定量斷言。
• 叢集線性擴充套件效率：千卡/萬卡級訓練，有效總 TFLOPS 除以（單卡實測 TFLOPS × 卡數）。公開報道表明主流雲端大型模型叢集的效率約為 50%–70%（來源：Meta 2022 OPT‑175B 訓練日誌、Google 2023 年 PaLM 技術報告）。
• 存算比（HBM 頻寬 / 峰值 FP16 TFLOPS） ：訓練通常需要 ≥ 0.005 Byte/FLOP 的存算比，若低於此閾值，則多數計算模式頻寬瓶頸嚴重。

技術路線

維度	傳統 CPU 向量擴充套件	通用 GPU（SIMT/SIMD 混合）	專用 AI 加速器（ASIC/TPU）	存內計算（PIM）
峰值 FP16 TFLOPS	數 TFLOPS（至 2024 年伺服器級至多十餘）	數百 TFLOPS	數百 TFLOPS，部分通過低精度可達近千	數十至上百 TFLOPS（架構差異大，公開資料缺乏統一標尺）
運算強度門檻	極高（適合稠密向量化計算）	中高，通過多級快取與執行緒切換隱藏時延	高，專用編譯棧可預處理運算元融合	極高，通過消除片外資料搬運降低頻寬依賴
精度支援靈活性	原生雙精度、單精度強，低精度支援依賴後期擴充套件指令	FP16/BF16/FP8 全面，部分已支援 FP4	可定製極端精度，浮點/整數混合格式靈活	當前以 INT8 與混合低精度為主，公開資料未見純浮點 PIM 量產
軟體生態成熟度	x86/ARM 極成熟，編譯工具鏈完備	CUDA 生態籠蓋訓練與推論多數環節，開發者基數龐大	須自研或藉助開放架構（如 OpenXLA）適配，遷移成本高	處於原型與產學研階段，缺失通用程式設計模型

注：以上描述基於各技術路線 2024 年行業公共認知，不指向任一具體商用產品與型號。

上游

• 先進製程：TFLOPS 密度的物理基礎由晶圓製造工藝決定。3 nm 級製程（台積電，2023 年下半年風險量產至 2024 年規模出貨）在同等功耗預算下可整合更多計算單元。美國 2022 年 10 月出口管制及 2023‑2024 年補充條例嚴格限制高階製程晶片及對應裝置的對華流動。
• HBM 及先進封裝：HBM2E、HBM3、HBM3E 堆疊提供 TB/s 級視訊記憶體頻寬，幾乎是當前高 TFLOPS 晶片的唯一記憶體方案。封裝技術（如台積電 CoWoS‑S/R/L）的產能是 2023–2024 年 AI 晶片供應瓶頸之一。據公開報道，台積電 2024 年計劃擴充 CoWoS 產能 2 倍以上，但訂單排產仍至 2025 年。
• IP 核與 EDA：張量處理器的核心微架構 IP（如 Arm、Synopsys 等）減少重複設計；後端版面配置佈線、熱管理模擬工具直接決定晶片可否在目標頻率下實現標的 TFLOPS。

下游

• 雲端服務商與算力租賃：AWS、Azure、Google Cloud、阿里雲端、華為雲端等以“GPU 例項小時”或 AI 算力平台形式將 TFLOPS 作為計量單位售賣。據公開調查（Liftr Insights 2023–2024 年追蹤），雲端上 GPU 例項按小時報價因地域與合約模式差異極大，投機性租用價與傳統預留例項價可差 50% 以上。
• 模型開發商：OpenAI、Google DeepMind、Anthropic 及頭部開源實驗室（Meta、Mistral 等）在訓練規劃階段即估算總 Flops 預算，用以倒推所需晶片數與訓練時長。
• 邊緣與終端推論：智慧手機、ADAS/自動駕駛域控制器需在 5–30 W 功耗包絡內提供數十 TFLOPS 的推論算力，需求驅動低精度、專用 NPU 架構與片記憶體儲小型化。

受益公司

• 晶片設計環節：輝達、AMD（Instinct 系列）、英特爾（Gaudi 系列及 Falcon Shores 路線）。上述公司公開季度營收結構（按 2024 Q2 公開財報）中，資料中心/加速計算分部的增速與 AI 算力訂單高度繫結。
• 晶圓及封裝環節：台積電（先進製程與 CoWoS 封裝）、三星電子（HBM 與製成）、SK 海力士（HBM 全球份額領先，據 TrendForce 2024 H1 估計約 50% 以上）。
• 系統整合與散熱：超微、戴爾、HPE 等及液冷方案提供商。液冷滲透率在 2024 年旗艦 AI 叢集中快速上升，與高功率密度 TFLOPS 叢集同步增長。

注：以上為公司業務陳述，不構成任何投資建議或推薦。具體公司營收佔比與訂單資料請參閱各司定期報告。

市場規模

• AI 伺服器出貨量：據 IDC 2024 年 6 月報告預估，2024 年全球 AI 伺服器出貨量將達約 160–170 萬臺，其中配置加速器（GPU 及專用 AI 晶片）的 SKU 佔據主要價值增量，其系統平均售價高於通用伺服器數倍。
• AI 晶片市場總量：Frost & Sullivan 2024 年分析指出，全球 AI 晶片（雲端端+邊緣）市場規模 2023 年約為 450–500 億美元，預計 2027 年將突破 1000 億美元，其中的核心驅動要素即為 TFLOPS 總量需求。
• 算力租賃市場：第三方統計（如 Omdia 2023）估算 2023 年主要雲端供應商共部署超過 200 萬顆高效能 GPU 等效算力，以 FP16 BF16 約 300–500 TFLOPS 單晶片折算，總部署算力即達數百 ExaFLOPS 級別。

以上資料均來自第三方公開評等機構的商業估計，具體統計口徑（含中國區與海外）對絕對值影響較大，應結合報告原文判斷。

玩家對比

維度	輝達 DGX/B 系 GPU	AMD Instinct MI 系列	英特爾 Gaudi 系列	Google TPU v5p
峰值 FP16/BF16 TFLOPS（典型旗艦）	約 990（H100 SXM 公開規格）	MI300X 公開資料約為 1300+（稀疏標註）	Gaudi 2 公開規格約為 400+ FP16/BF16	公開資料約 459（BF16 每晶片，TPU v5p 單 Pod 近似值）
視訊記憶體/記憶體頻寬	80 GB HBM3 / 3.35 TB/s (H100)	192 GB HBM3 / 5.3 TB/s	96 GB HBM2E / 2.45 TB/s	每晶片 95 GB HBM（頻寬公開資料未給出）
互聯方案	NVLink 4 + NVSwitch + InfiniBand	Infinity Fabric + Ethernet	整合 RoCEv2	ICI 專用光互聯
軟體棧	CUDA、TensorRT、Triton	ROCm、HIP 生態	SynapseAI + Habana 庫	JAX、TensorFlow、TPU VM

注：上述數值來自各廠商截至 2024 年中的產品規格頁面或官方技術文件；以稀疏、結構化稀疏標註的 TFLOPS 不可直接與非稀疏標註項對比。中國區出口管制規格的晶片（如 H100 對應中國大陸版本 H800）峰值與互聯頻寬有所下調，此處引用全球通用版資料作為技術路標，不作為地區供貨承諾描述。

風險

• 地緣政治與出口管制：美國 2022 年 10 月 7 日及 2023 年 10 月 17 日更新出口管制規則，對高階 GPU 與專用 AI 晶片施加 TFLOPS/頻寬雙重閾值限制，限制向部分國家及實體供應高階算力。該政策可能進一步收緊或引發區域供應重構，推高獲取高效能 TFLOPS 的直接與間接成本。
• 技術路徑斷層：HBM 與先進封裝產能擴張受阻（如 CoWoS 擴產延期）、微縮停滯（摩爾定律放緩）將導致 TFLOPS 代際提升低於預期；替代性技術（光子計算、存內計算）能否規模量產仍有不確定性。
• 演算法革新導致算力需求突變：DeepSeek、Mistral 等團隊 2024 年釋出的高效小模型、MoE 路由最佳化、級聯剪枝與量化聯合技術，證明少 1–2 個數量級的浮點預算也可以逼近大型模型效能，可能改寫市場對 TFLOPS 總量的長期增長預期。此外，架構從 Transformer 向狀態空間模型（如 Mamba）轉換，若卷積式或頻域加速模式主導，部分現有矩陣庫的 TFLOPS 利用範式將不適用。
• 利用率陷阱與有效算力折價：廠商競爭集中於峰值 TFLOPS 數值，而實用中的通訊與軟體棧短板可能導致 30% 以上“紙面算力”無效，終端使用者付出的每美元有效算力遠低於宣傳預期。

誤讀糾偏

誤讀 1：“TFLOPS 高一定等於 AI 效能更強” 記憶體頻寬、視訊記憶體容量、互連方案以及架構運算元最佳化程度構成“有效吞吐四要素”。兩個紙面峰值 FP16 TFLOPS 相差無幾的晶片，在同一 Transformer 訓練的實測吞吐可能差距 30%–50%（參見 MLPerf Training 2.1‑3.0 多輪排行榜）。因此，任何撇開記憶體子系統與編譯器成熟度僅比較 TFLOPS 的做法都是片面的。

誤讀 2：“MoE 模型總引數直接套用 6·P·D 公式估算總 TFLOPS” MoE 架構只啟用部分專家，1.8 T 總引數的模型實際每個 token 啟用的引數量可能僅為 60 B 級別，訓練浮點預算與推論時延皆由啟用引數（Active Parameters）主導。直接用總引數量計算會數倍乃至十數倍高估所需 TFLOPS 規模。

誤讀 3：“低精度推論一定無損精度，只需看 TFLOPS 數字” FP8/INT8 推論若無混合精度旁路、靜態/動態縮放因子調優及量化感知訓練，會出現注意力分數漂移、長尾資訊丟失等精度問題。此時 TFLOPS 數字虛高，對應的模型評測指標（如準確性、事實一致性）卻已不可用。

誤讀 4：“TOPS 與 TFLOPS 等值” INT8 TOPS 與 FP16/BF16 TFLOPS 在功能、語義與適用場景上有本質區別。硬體宣傳中常將二者並列，造成非專業讀者直接等值換算。兩者關係約為 1 FP16 FLOP ≈ 2 INT8 OPs（理論，因計算單元佔用關係不可直接互換）。

最新事件

• 2024 年 6 月臺積電 CoWoS 擴產更新：台積電在 2024 年股東會及季度電話會議中指出，2024 年 CoWoS 產能將比 2023 年翻番以上，但直至 2025 年供應或仍偏緊，制約整體 TFLOPS 出貨增幅（來源：台積電公開簡報）。
• B200 / GB200 釋出：輝達在 2024 年 GTC 上釋出基於 Blackwell 架構的 B200 與 GB200 超級晶片，公開宣傳峰值 FP4 推論算力達 20 PetaFLOPS（FP8 訓練約為前代 2.5 倍）。需注意 FP4 算力與實際模型推論精度的權衡尚無公開的大規模生產級證據，有效吞吐與精度聯合表現待 MLPerf 等第三方驗證。
• 美國 2024 年出口管制進一步細則：2024 年 3 月後新規對“效能密度”及互聯能力標準增加了門檻，直接限制高 TFLOPS 密度與高頻寬互連晶片在特定區域及實體的出口，引發國內市場對國產晶片有效 TFLOPS 生態替代的急切討論。
• 國產晶片路線圖公佈：多家國產 AI 晶片公司（如華為昇騰、寒武紀、海光資訊）在 2023 年下半年至 2024 年上半年通過運營商、大型網際網路公司招標拿到批次試用與適配訂單，公開招標資訊顯示部署規模由數百至數千卡不等，公開宣傳代次產品 FP16 峰值可達 200–500 TFLOPS 區間（具體代次規格見各司官網），但生態遷移成本與有效利用率仍處檢驗期。

追蹤指標

• 季度 GPU/加速卡出貨量：由 Mercury Research、Jon Peddie Research 按季度釋出的 GPU 出貨與附加率報告，間接反映 TFLOPS 增量供給。
• 雲端服務商 GPU 例項丰度：各雲端平台區域可供 GPU 例項型別、數量及排隊時長，直接化 TFLOPS 供需鬆緊為可感知的服務層指標。
• MLPerf 輪次結果：每輪 Training/Inference 排行榜展示各系統在代表性模型下的吞吐與能效，是用標準化手法還原“有效 TFLOPS”的權威公開來源。
• HBM 顆粒與 CoWoS 封裝報價：儲存與封裝環節漲價資訊預示高 TFLOPS 晶片成本與供給方向，機構（如 TrendForce、Counterpoint）按月/季度釋出的合約價漲跌為先行展望。
• 公開大規模模型技術報告：OpenAI、Meta、Google DeepMind 等釋出的技術報告或部落格通常詳列訓練總 FLOPS、卡數與MFU（模型浮點運算利用率），是體系性校準 TFLOPS 估算經驗公式的最新實證材料。
• 政策公報：美國 BIS 規則更新與本土/聯盟國產算力促進政策，直接改變不同地區可獲取 TFLOPS 的技術上限與採購可行性。

信源

• Jeffrey Dean et al., “The Path to ExaFLOPS and Beyond,” Google AI Blog, 2023.（綜述算力需求增長路徑與 TPU 效能）
• Kaplan et al., “Scaling Laws for Neural Language Models,” 2020.（揭示模型效能與算力、引數、資料量的冪律關係）
• Pope et al., “Efficient Scaling of Transformer Inference,” 2022.（定義運算強度與記憶體頻寬約束下有效 TFLOPS 的估算方法）
• Meta AI, “OPT: Open Pre‑trained Transformer Language Models,” 2022.（日誌公開訓練利用率、叢集有效吞吐與規模資料）
• MLCommons, MLPerf Training and Inference Results, 2020‑2024.（跨平台可比 TFLOPS 實測與能效排名）
• 各上市企業最新季度財務報告及電話會議紀要（2024 Q1–Q2）：台積電、輝達、AMD、英特爾、SK 海力士，未經轉述不得視作投資建議。
• IDC Worldwide Quarterly Server Tracker, 2024 Q1/Q2（含 AI 伺服器細分市場的出貨與附加率估算）。
• TrendForce, “HBM Market Analysis and Forecast,” 2024.（HBM 供需、價格趨勢與主要供應商份額）。