FP8 Training
3 秒看懂
FP8 訓練是一種將深度學習模型訓練中大量數值運算的位寬從 16 位（BF16/FP16）或 32 位（FP32）壓縮到 8 位的技術。核心價值是在對模型最終精度影響可控的前提下，大幅減少記憶體佔用、提升資料搬運效率和計算吞吐量，從而用同樣的硬體訓練更大型模型，或在更短時間內完成相同規模的訓練。
3 分鐘產業解釋
當前數萬億引數大型模型的訓練，普遍面臨“記憶體牆”和“功耗牆”的雙重瓶頸。模型引數、最佳化器狀態和啟用值的總規模輕易突破單卡視訊記憶體上限，大量資料在計算單元和視訊記憶體間的往復搬運，使得記憶體頻寬成為比算力更吃緊的硬約束。在此背景下，低精度訓練不再是可選項，而成為產業能否繼續沿著規模定律（Scaling Law）向前走的必要條件。
FP8 訓練相較主流的 BF16/FP16 訓練，將每個數的儲存位寬壓縮了一半。其直接收益呈現在三個層面：
- 視訊記憶體容量倍增：同等視訊記憶體可容納更大的模型引數量或更大的訓練批次（Batch Size），後者對穩定訓練和大規模並行極為關鍵。
- 頻寬壓力減半：單位時間內記憶體搬運的位元組數大幅下降，緩解了“記憶體牆”，使計算單元閒置等待資料的時間顯著縮短，實際吞吐量提升 15%–30%（NVIDIA H100 白皮書等廠商資料）。
- 能效比提升：低位寬運算操作功耗更低，結合記憶體訪問能耗的下降，在萬卡叢集規模上會轉化為可觀的電力成本節約和更低的散熱要求。
然而，8 位浮點數值的可用範圍極窄、精度極低。直接簡單地截斷資料，會導致梯度下溢歸零和啟用值溢位爆炸，使訓練完全失敗。因此，FP8 訓練並非單純的資料型別轉換，而是一套需要演算法、硬體、系統軟體深度協同的精密數值管理系統，其核心是動態縮放和混合精度策略。該技術的普及標誌，代表著 AI 基礎設施從“能用”邁入“高效能用”的階段。
技術原理
FP8 訓練的本質，是用分層自適應縮放和硬體原生指令來彌補 8 位浮點表示能力的天然不足。其原理可拆解為格式、難點、延遲縮放和硬體協同四個層面。
1. FP8 的兩種標準格式
實踐中，FP8 並非單一格式，而是採用兩種互補的表示（以 IEEE 754 風格為參考，實際晶片可存在廠商自定義）：
| 格式 | 符號位 | 指數位 | 尾數位 | 特點 |
|---|---|---|---|---|
| E4M3 | 1 | 4 | 3 | 指數範圍較小，尾數精度尚可，適合前向傳播中的啟用值儲存與計算 |
| E5M2 | 1 | 5 | 2 | 指數範圍更大，尾數精度很低，適合反向傳播梯度的儲存與計算 |
兩種格式可在同一次訓練中混合使用，不同張量（權重、啟用值、梯度）依據其數值分佈特性選取合適格式，這是混合精度的第一層。
2. 數值挑戰：動態範圍與下溢
- 啟用值：在前向傳播中，啟用值分佈範圍較寬，可能跨越多重數量級。若用固定縮放因子對映至 FP8，大值會溢位，小值會被 clip 為 0 導致資訊丟失。
- 梯度：反向傳播的梯度常呈長尾分佈，絕大多數數值極小。若強制轉換為 E5M2 格式且縮放不當，這些微小梯度將直接下溢為 0，造成權重無法更新、訓練停滯。
這兩類問題說明，靜態縮放不可避免地導致精度崩潰，必須引入動態機制。
3. 核心技術：延遲縮放（Delayed Scaling）
延遲縮放是當代 FP8 訓練系統的靈魂。其工作流程可概括為：
- 歷史統計與因子生成：利用前一步（或前幾步）觀察到的張量絕對最大值（amax），經指數滑動平均或直方圖統計，計算出一個合理的縮放因子（scale factor）。該因子將張量內最大絕對值對映到 FP8 的表示上限附近，既防止溢位，又最大化地利用有效位數。
- 前向/反向中使用 FP8：以該縮放因子將權重、啟用值、梯度等高精度張量轉換為 FP8 輸入硬體 Tensor Core 執行矩陣乘加。關鍵設計是：矩陣乘累加的內部累加器仍保持 FP32 或更高精度，避免累加過程中的舍入誤差疊加。
- 一次延遲：本步的縮放因子來自歷史張量統計，並非當前張量。這一步的延遲避免了執行時反覆掃描張量找最大值的開銷，使計算和因子計算可以流水線化。同時，本步計算結束後，依據當前步的實際張量分佈，生成下一步使用的縮放因子。
此過程由專用的“amax”緩衝區和延遲縮放演算法控制，已內建在 NVIDIA Transformer Engine、PyTorch 混合精度模組等軟體棧中。
4. 硬體流水線與資料流
具備原生 FP8 Tensor Core 的計算單元（如 NVIDIA H100 的第四代 Tensor Core）能在一個指令中完成：反量化（FP8→高精度）→ 矩陣乘累加 → 量化（高精度→FP8） 的流水線，且累加結果保持在高精度。這種硬體融合極大減少了暫存器壓力和記憶體讀寫，是 FP8 收益在矽層面的直接兌現。
關鍵引數
評估 FP8 訓練可行性與效果，需追蹤以下可量化指標，其中數字若未標明具體來源，則來自典型廠商白皮書及主流開源社群報告的綜合區間：
-
訓練吞吐量提升比（對比同硬體 BF16 訓練）：行業中 NVIDIA、Meta 等公開案例顯示，在大語言模型（LLM）訓練中實際吞吐量可提升 15%–30%。例如，NVIDIA 在 H100 上使用 Transformer Engine 訓練 GPT-3 類模型時，報告實際 tokens/second 提升約 30% 左右（NVIDIA 2023 白皮書）。
-
視訊記憶體佔用縮減比：模型引數和啟用值佔用視訊記憶體可節省近 40%–50%（引數記憶體從 2 位元組壓至 1 位元組，啟用值同樣減半）。但最佳化器狀態（如 Adam 動量、方差）通常仍保持 BF16/FP32，因此總記憶體節省視模型大小與並行策略而定，實測全生命週期訓練中總視訊記憶體佔用減少約 30%–40%（公開資料未見統一統計口徑）。
-
每瓦效能改善：由於浮點運算和記憶體搬運的功耗與位寬正相關，FP8 訓練的整體能效比（tokens/焦耳）對比 BF16 有顯著提升。NVIDIA 在 H100 的能耗效率白皮書中宣稱，利用 FP8 可將相同訓練任務能耗降低約 30%–40%（2023 年資料，基於內部測試）。
-
最終任務精度損失（驗證集困惑度、準確率等）：多數已釋出的大型模型（如 Llama 系列、部分開源 MoE 模型）在 FP8 混合精度訓練後，驗證損失與 BF16 基線的偏差可控制在 0.02%–0.1% 以內，處於工程可接受範圍。但某些對數值精度極敏感的任務（如部分科學計算、小規模微調）偶爾會出現不可忽視的退化，公開資料未見統一基準。
-
軟體堆疊成熟度指標：原生支援 FP8 的運算元覆蓋率（如 cuDNN、Triton 中 FP8 運算元數量）、主流架構（PyTorch、JAX）的一鍵啟用穩定性和社群 issue 解決速度。截至 2025 年初，Llama、GPT、Mistral 等流行架構的訓練已具備較完善的 FP8 支援，但一些非 Transformer 架構或自定義運算元的適配仍存在缺口（社群觀察）。
技術路線
FP8 訓練處於 AI 低精度訓練的演進序列中的一個關鍵階段，需拉長視角才能理解其定位。
演進脈絡
- FP32 時代（~2017 前）：預設訓練精度，數值穩定，但計算和記憶體開銷極大。
- FP16/BF16 混合精度時代（2017–2022）：以 NVIDIA Volta Tensor Core 和 PyTorch 原生 AMP 的普及為標誌。FP16 動態範圍有限，需“損失縮放”防止梯度下溢；BF16 指數位與 FP32 一致，免除了損失縮放的麻煩，迅速成為主流。訓練吞吐量較 FP32 可提升 2–3 倍。
- FP8 探索與落地（2022–2024）：NVIDIA Hopper 架構首次原生支援 FP8 Tensor Core，配套的 Transformer Engine 庫提供全流程 FP8 訓練支援，使之從研究進入生產。AMD MI300 系列、Intel Gaudi 3、Google TPU v5 等同步跟進 FP8。
- 更低精度探索（2025–）：Blackwell 架構（2024 釋出）支援 FP4 等格式，結合塊狀浮點（block floating point）、剪枝稀疏性開啟 4 位訓練的前期研究。FP8 則加速成為大規模訓練的標準配置。
精度格式全維度對比
| 特性 | FP32 | FP16 | BF16 | FP8 (E4M3/E5M2) |
|---|---|---|---|---|
| 位寬 | 32 | 16 | 16 | 8 |
| 動態範圍 | 極大 | 中 | 大（同 FP32 指數範圍） | 中/大（由 4 或 5 位指數決定） |
| 精度（有效尾數） | 高 | 中 | 中 | 低 |
| 計算吞吐量（相對） | 1× | 2×（若 Tensor Core 支援） | 2× | 4×（理論峰值） |
| 訓練穩定性 | 最高 | 需損失縮放 | 較穩定 | 需動態縮放與系統級管理 |
| 硬體原生支援起點 | 所有 GPU | Volta+ | Ampere+ | Hopper / MI300 / TPU v5 |
| 生態成熟度 | 極成熟 | 成熟 | 成熟 | 快速成熟中 |
混合精度策略分層
現代 FP8 訓練並非全體素都是 FP8，而是採用多層級混合精度：
高精度主權重副本：維護 FP32/BF16 的權重主副本，確保累計更新精度。計算密集型運算元（矩陣乘）：在 FP8 下進行前向和反向矩陣運算，由延遲縮放保護。元素級操作和歸一化層：通常保持 BF16 或 FP32，以保證數值穩定性。最佳化器狀態：Adam 等最佳化器中的動量、方差繼續保持 FP32 或 BF16，避免更新方向失真。
這一架構既攫取了 FP8 的效能紅利，又守住了訓練穩定性的底線。
上游
FP8 訓練的上游指為其實施提供底層硬體和基礎 IP 的環節，主要包括：
-
先進製程與封裝：支援 FP8 的 GPU/加速器依賴 4nm/3nm 工藝節點和 2.5D/3D 先進封裝（如台積電 CoWoS，2024 年產能仍緊張，台積電 2024Q4 法說會揭露先進封裝營收年增率增長超 60%）。HBM3/HBM3e 高頻寬記憶體的堆疊和介面同樣依賴先進封裝工藝，供應緊俏。據 TrendForce（2024 年底報告），2025 年 HBM3e 供應仍以 SK 海力士和三星為主，產能擴張受限於 TSV 產能。
-
晶片設計 IP 與 EDA：FP8 運算單元需要設計符合 E4M3/E5M2 的浮點運算資料路徑，相關 IP 來自新思科技、Cadence 等 EDA 廠商。NVIDIA、AMD 的自有 FP8 實現為閉源，ARM 針對 Neoverse 的 FP8 支援也逐步出現。
-
儲存與互連：HBM3/HBM3e 是 FP8 資料搬運的“高速路”，其頻寬和延遲直接決定 FP8 吞吐量提升能否兌現。2024 年 H200 配備 141GB HBM3e 記憶體，頻寬 4.8 TB/s；2025 年 GB300（Blackwell Ultra）預期搭載 288GB HBM3e。片間互連如 NVLink 5、Infinity Fabric 提供每秒數百 GB 的 GPU 間通訊頻寬，是萬卡叢集 FP8 訓練並行的基礎。
-
光模組與交換網路：大規模叢集中，節點間通訊頻寬受限於網路硬體。800G 光模組和高速 InfiniBand/乙太網路交換器決定了跨節點 FP8 資料搬移效率（比如 RDMA 傳輸）。據光通訊行業 2024 年資料，800G 部署加速，2025 年出貨量預計翻倍。
下游
FP8 訓練的下游應用和直接消費方，包括：
-
前沿大型模型研發主體：OpenAI、Anthropic、Google DeepMind、Meta、xAI 等均已在數萬 GPU 叢集中使用 FP8 訓練降低研發時間和費用。例如，據公開資料，Llama 3 系列模型的部分訓練階段已採用 FP8（Meta 官方部落格，2024 年）。Mistral、DeepSeek 等新銳團隊同樣積極採用。
-
AI 雲端運算平台：AWS（P5e、P5en 例項）、Microsoft Azure（H100 例項）、Google雲端（TPU v5p）、Oracle Cloud 等將支援 FP8 的加速器例項包裝為雲端服務，按小時或預留例項向市場出售，直接受益於企業客戶訓練或微調大型模型的爆發需求。
-
垂直行業模型訓練：
- 自動駕駛：在感知、預測網路的大規模訓練中使用 FP8，以在有限算力預算下加速迭代，例如特斯拉 Dojo 系統、Waymo 團隊研究。
- 生命科學和藥物發現：AlphaFold 類模型的大規模重新訓練或類似架構的行業定製模型開始引入 FP8，以降低訓練週期。
- 金融風控與量化：金融機構利用 FP8 加速時序模型訓練，即時處理高頻資料。
-
開源社群與模型微調：Hugging Face、PyTorch 社群中，越來越多的開源模型釋出 FP8 精度的預訓練權重（如 FP8 版的 Mistral、Llama），下游開發者可使用消費級或半專業 GPU 進行低資源微調和推論，推動應用創新。
受益公司
以下公司因 FP8 訓練的普及而在產業鏈各環節獲得業務上直接或間接的推動，此處僅做產業地位分析，不構成任何投資建議。
-
輝達（NVIDIA）：Hopper H100/H200 和 Blackwell B100/B200 的 Tensor Core 原生 FP8 支援是核心競爭力之一。其 CUDA + Transformer Engine 軟體棧構成壁壘，推動資料中心 GPU 銷售。據彭博社估算，2024 財年輝達資料中心業務營收約 475 億美元，其中 H100 系列貢獻突出；FP8 帶來的效率優勢是客戶持續購買新硬體的關鍵驅動。
-
AMD：Instinct MI300X 的 FP8 算力標稱約 2.6 PFLOPS（稀疏），憑藉 ROCm 日益完善的 FP8 支援和開源架構整合，爭奪雲端運算和超大規模客戶。2024Q4 AMD 資料中心 GPU 營收突破 35 億美元（AMD 2024 年 Q4 財報）。
-
Google（Alphabet）：自研 TPU v5e/v5p 支援 FP8，在內部訓練 Gemini 等模型和Google雲端上對外服務。TPU 領域的軟硬體協同使其不必完全依賴第三方 GPU。
-
英特爾（Intel）：Gaudi 3 加速器支援 FP8，面向價效比市場。2024 年 9 月釋出，計劃 2025 年批量出貨，能否取得實質份額尚待觀察。
-
SK 海力士 / 三星 / 美光：HBM3/HBM3e 是 FP8 訓練不可或缺的儲存。HBM 的需求規模和單價被 AI 訓練升級驅動。SK 海力士 2024 年 HBM 銷售額年增率增長超 200%（公司 2024 年財報），2025 年 HBM3e 繼續佔主導。
-
台積電（TSMC）：壟斷先進製程和 CoWoS 封裝產能，是上述所有晶片的製造基礎。CoWoS 產能從 2023 年的月產約 1.8 萬片擴至 2024 年底約 3.5 萬片，2025 年預計新增至 5 萬片以上（台積電 2024Q4 法說會），直接影響 FP8 硬體放量速度。
-
雲端運算三巨頭（AWS, Azure, Google Cloud）：通過出租 FP8 訓練例項，將硬體投資轉化為長期雲端營收。亞馬遜 AWS 2024 年將 H100 例項上線後迅速擴容，Azure 同樣依託 H100 例項營收增長（公司季度財報相關揭露）。
-
Meta / OpenAI 等模型公司：作為 FP8 的首批使用者和價值驗證者，它們受益於訓練成本降低、迭代速度加快。Meta 開源 Llama 系列並公開提及 FP8 訓練（2024 年 Llama 3 技術報告），間接影響 FPGA/ASIC 創業公司的方案選擇。
市場規模
對 FP8 訓練直接市場規模尚無單一權威口徑，但可從 AI 加速器市場、資料中心硬體消費和雲端服務支出三維度交叉測算。
-
AI 加速器晶片市場：據 Omdia 2024 年 11 月釋出的報告，2024 年全球資料中心 AI 晶片市場規模約為 1,050 億美元，較 2023 年約 480 億美元翻倍以上。其中 NVIDIA 佔據約 80% 份額，其餘參與者包括 AMD、Intel 和自研 ASIC。支援 FP8 的 Hopper 家族及 Blackwell 新品貢獻了 2024–2025 年度 NVIDIA 資料中心晶片營收的絕大多數。考慮到 2025 年 Blackwell 大規模出貨，支援 FP8/FP4 的加速器將覆蓋超 90% 的新增 AI 訓練晶片出貨（公開資料未見精確比例，基於產品代際迭代估算）。
-
資料中心 DRAM 和 HBM 市場：HBM 是 FP8 訓練的必備儲存。據 TrendForce 2024 年 12 月報告，2024 年 HBM 市場規模約 180 億美元，2025 年預計增至 320 億美元，年增近 80%。HBM3e 超 90% 用於 AI 加速器，與 FP8 訓練部署直接相關。
-
AI 訓練雲端服務支出：Synergy Research Group 2024 年 Q3 資料顯示，全球雲端基礎設施服務季度支出超 800 億美元，其中 AI 相關訓練負載佔比快速上升並集中在 GPU 例項。據投資機構 Jefferies 估算（2024 年 10 月），2024 年全年用於 AI 訓練的雲端支出約 240 億美元，FP8 硬體帶來的價效比提升成為雲端廠商壓降成本、吸引客戶的重要手段。
-
滲透率與天花板：目前 FP8 訓練主要應用在頭部大型模型（千億引數以上）的預訓練和微調場景，整體訓練算力市場的滲透率估計在 20%–30%（公開資料未見權威資料，源於對 H100 出貨與 H100 利用率調研的行業推測）。隨著 2025 年 Blackwell 產品大規模入役、PyTorch FP8 支援日漸成熟，中小規模模型訓練和企業級微調也將加速轉向 FP8，滲透率有望在未來 2-3 年內超過 60%。
玩家對比
對比核心硬體平台在 FP8 訓練方面的關鍵能力，資料主要來自各廠商公開技術文件及獨立評測：
| 維度 | NVIDIA H100 (Hopper) | AMD MI300X | Intel Gaudi 3 | Google TPU v5p |
|---|---|---|---|---|
| FP8 峰值算力 (TFLOPS) | 3958 (dense) / 7900 (sparse) | 2607 (sparse, 2024 年資料) | 1835 (FP8, 2024 年) | 公開資料未見完整 FP8 指標，採用 BF16 指標對比；v5p Pod 算力以晶片矩陣方式描述 |
| 軟體棧成熟度 | CUDA + Transformer Engine + cuDNN 高度成熟，文件豐富 | ROCm 6.0+ 支援 FP8，軟體生態快速追趕，主流架構適配中 | oneAPI + SynapseAI 軟體棧，社群較小，但逐步支援 PyTorch FP8 | TPU 專有編譯器和 JAX/TF 原生支援，自研生態封閉但內部整合度高 |
| 視訊記憶體與頻寬 | 80GB HBM3, 3.35TB/s (H100) → H200: 141GB HBM3e, 4.8TB/s | 192GB HBM3, 5.3TB/s | 128GB HBM2e, 3.7TB/s | v5p 晶片 16GB HBM，以 Pod 形式聚合 |
| 典型叢集交付 | DGX H100 / HGX 平台，已大規模部署 | 通過超大規模雲端客戶（微軟等）少量部署，2024Q4 起放量 | 由 Dell、Supermicro 等 OEM 出貨，觸達部分企業 | 僅Google雲端和內部使用 |
| 獨特優勢 | 生態壁壘，Transformer Engine 自動 FP8 適配 | 大視訊記憶體容量對大型模型 FP8 訓練友好 | 極具價效比，片內整合媒體處理引擎 | 晶片間互連頻寬極高，適合超大規模並行 |
軟體層的對比則集中於：
- PyTorch (torch.amp) + Transformer Engine：NVIDIA 主導，整合度高，是 FP8 訓練的軟性事實標準。
- JAX + Flax：Google路徑，與 TPU 和部分 GPU 相容，對研究員友好，但企業部署面稍窄。
- OpenAI Triton：開源 DSL，允許編寫自定義 FP8 運算元，提供跨晶片的靈活性，但需要更多開發投入。
FP8 訓練的普及，將迫使參與者從“硬體引數競賽”轉向“軟硬協同開箱即用體驗”的綜合比拼。
風險
FP8 訓練相關的產業級風險可從技術、供應鏈、生態和需求波動四個維度展開：
-
技術風險：數值精度不可控
儘管大規模 LLM 的 FP8 訓練已證明可行，但不同的模型架構（如 Mamba、SSM、強化學習流程）和訓練任務（如課程學習、多模態對齊）對數值擾動更敏感。缺乏統一測試基準，可能出現特定任務精度退化超過 1% 的情況，影響產品落地。同時，大批次訓練、資料並行切換管道的梯度同步中縮放因子的管理存在潛在 bug，可能引發訓練不穩定，目前的工程實踐仍在不斷迭代。 -
供應鏈集中風險
FP8 訓練所需的高階 GPU/加速器及其 HBM 記憶體、先進封裝都嚴重依賴極少數供應商。台積電 CoWoS 產能的任何中斷或地緣政治事件（如出口管制升級，2024 年美國政府進一步限制對華銷售 H100/H200 等）將直接制約全球 FP8 算力部署計劃。此外，HBM 供應商高度集中（SK 海力士市佔超 50%），任何一家的產能或質量事故都會波及全產業鏈。 -
軟體生態碎片化
雖然 PyTorch FP8 支援迭代快速，但跨廠商的核內標準未統一（E4M3/E5M2 的細微實現差異、延遲縮放策略的廠商特定引數），可能導致同一模型在不同硬體上的訓練效果生變。這種摩擦帶來遷移成本，制約多元硬體部署的意願，形成事實上的鎖定效應。 -
需求與投資週期錯配
當前 AI 投資高度聚焦於大型模型訓練，若資本支出增速在未來 2-3 年趨緩，或者模型架構突破降低了訓練需求（如更高效的訓練演算法、小模型能力爆發），那麼 FP8 硬體的採購需求可能出現階段性飽和。公開資料未見具體預測，但 2024 年下半年部分投資機構已就“AI 硬體投資回報”展開討論（高盛 2024 年 6 月報告）。 -
功耗與散熱挑戰
儘管 FP8 的每瓦算力提升，但系統整體能耗因叢集規模瘋狂擴張而不降反升。萬卡級 FP8 叢集的功耗和散熱仍然是資料中心的硬約束，液冷、供電基礎設施的部署速度可能不及算力擴張的步伐。
誤讀糾偏
以下針對 FP8 訓練最常出現的資訊偏差進行澄清：
-
誤讀：“FP8 訓練就是模型量化，精度必然大跌，無法真正生產。”
糾偏：FP8 訓練與常規的推論後量化（PTQ）有本質差別。前者是訓練過程中的系統級數值管理，包含延遲縮放、高精度累加、主權重保持高精度和混合精度三層保護。大量已釋出工作（Llama 3 技術報告、NVIDIA 技術部落格等）表明，在千億引數規模下，最終精度損失可維持在萬分之幾，完全滿足生產要求。真正的挑戰是工程實現複雜度，而非數值原理上的不可行。 -
誤讀：“只要硬體支援 FP8，訓練自然就快 2 倍。”
糾偏：硬體 FP8 Tensor Core 僅提供理論峰值算力的翻倍可能，實際吞吐加速比高度依賴資料搬運、縮放計算開銷和網路通訊的平衡。未做最佳化直接替換精度格式往往不會帶來任何加速甚至效能下降。真正的收益來自全棧最佳化：架構感知的計算圖改寫、運算元融合、通訊與計算的 overlap。通常實際吞吐量提升幅度在 15%–30%，極少達到 50%。 -
誤讀：“FP8 將全面替代 BF16 成為唯一訓練格式。”
糾偏：FP8 是工具集的一部分，與 BF16/FP32 長期共存。最佳化器狀態、歸一化層、損失函式等對精度敏感的模組仍然需要更高精度。FP8 適用於計算密集的矩陣乘模組。未來更可能的是“多精度交錯”範式：FP4/FP8 計算、BF16 儲存、FP32 累加的組合，各取所長。 -
誤讀：“FP8 訓練可以完全自動，不需要人工調參。”
糾偏：儘管 Transformer Engine 等工具大幅自動化了縮放因子管理，但在新模型架構、新運算元或超常規批次大小下，工程師仍需手動調整縮放因子歷史視窗大小、異常值裁剪閾值和混合精度的白名單黑名單。實際企業部署中，通常需要幾周到數月的磨合期才能將 FP8 穩定引入大型生產訓練管線。
最新事件
截至 2025 年初，FP8 訓練產業有幾個值得關注的最新進展：
-
Blackwell 架構規模出貨（2025 年 Q1）：NVIDIA 於 2024 年底公佈 Blackwell B200 的 FP8 算力和 FP4 支援，預計 2025 年初開始批次交付。B200 在 FP8 下可實現更高吞吐，同時引入 FP4 進一步提升效率，間接將 FP8 定位為“成熟穩定”的主流格式。摩根士丹利 2024 年 12 月報告預計，2025 年 Blackwell 系列 GPU 銷售額將達到 600 億美元量級。
-
Meta Llama 4 訓練曝光 FP8 實踐：據 2024 年底 Meta 研究院部落格透露資訊，Llama 4 模型在數萬 GPU 叢集中使用 FP8 混合精度進行預訓練，有效節省視訊記憶體和訓練時長，使更大引數規模的迭代得以實現，相關實踐文件預計 2025 年公開。
-
AMD ROCm 6.2 增強 FP8 支援（2024 年 10 月釋出）：為 MI300X 加入了更多 FP8 運算元，並支援 PyTorch 的 torch.amp 介面，使 MI300X 在主流架構中的 FP8 可用性顯著改善，縮小與 NVIDIA 的軟體差距。
-
中國國產 GPU 格局：受出口管制影響，中國廠商如華為昇騰（Ascend 910B/C）在 FP8 訓練方面的表現備受關注。公開資料顯示，昇騰 910B 支援 BF16，但 FP8 原生支援未見確切的公開發布，軟體生態仍在建設，部分國內大型模型團隊正在嘗試進行適配（公開報道）。
-
行業標準進展：IEEE 浮點標準工作組在討論將 E4M3 和 E5M2 格式正式標準化。多廠商（NVIDIA、Arm、Intel）聯合論文《FP8 Formats for Deep Learning》已成為事實標準，2024 年相關工作組繼續推進，可能減少長期的碎片化風險。
追蹤指標
持續追蹤 FP8 訓練的產業趨勢，建議關注以下高頻/低頻指標：
-
雲端平台 FP8 例項可用性與價效比：AWS、Azure、GCP 的 GPUs 例項中，支援 FP8 的比例和每 Token 訓練價格變化。例如，AWS P5 例項的公開小時價及可用區擴容節奏，作為 FP8 算力滲透的毛細血管指標。
-
驅動與庫更新頻率：NVIDIA cuDNN、Transformer Engine 的版本更新日誌中 FP8 相關 bug fix 和效能提升的條目數量，反映生態的工程熱度和穩定化程序。
-
開源模型 FP8 權重發布數量：Hugging Face 上標籤為“fp8”的模型庫增量，衡量 FP8 在下游推論和微調中的接受度，間接反映訓練領域的信心。
-
頭部 AI 公司的算力採購構成：關注 Meta、Microsoft、Google 等資本支出揭露中，是否有下一代硬體（如 Blackwell）佔比躍升訊號，以及對 FP8 價值的明確引用。
-
HBM 和先進封裝產能與價格：追蹤 SK 海力士、三星的 HBM3e 出貨量和台積電 CoWoS 月產能擴產展望，這是硬體放量的物理約束。
-
學術會議論文：NeurIPS、ICML、MLSys 中關於低精度訓練、FP8 新方法的接收數量，特別關注針對非 Transformer 架構和強化學習的 FP8 研究，是技術成熟度擴散的先行指標。
-
專業媒體與獨立評測：如 SemiAnalysis、The Next Platform 對 FP8 訓練叢集實測吞吐量、功耗和效能的拆解，提供第三方交叉驗證。
信源
以下為本概念頁引用或建議進一步查證的關鍵資訊來源，均偏向原始技術文件與行業資料包告，未採用匿名信源：
- NVIDIA. 《NVIDIA H100 Tensor Core GPU Architecture》白皮書，2022 年。
- NVIDIA. Transformer Engine 官方文件與 GitHub 倉庫 (github.com/NVIDIA/TransformerEngine)。
- Micikevicius, P. et al. “FP8 Formats for Deep Learning”，arXiv，2022。為多家廠商聯合釋出的 FP8 格式定義和應用方法，是事實標準的基礎。
- AMD. 《AMD Instinct MI300X Accelerator》技術概要，2023–2024。
- Intel. 《Intel Gaudi 3 AI Accelerator》白皮書，2024。
- Meta. “Llama 3 Technical Report” 及官方部落格關於訓練效率的說明，2024。
- Omdia. “Data Center AI Processors Market Tracker”，2024 年 Q4 版。
- TrendForce. HBM 市場分析系列報告，2024 年 12 月。
- Synergy Research Group. 全球雲端基礎設施服務季度報告，2024 Q3。
- 台積電 2024 年第四季度法說會公開資訊（財務與先進封裝產能展望）。
- PyTorch 官方文件：Automatic Mixed Precision (torch.amp) 章節。
- SemiAnalysis, The Next Platform 等獨立媒體對 GPU 訓練效率的技術解析（2023–2025 年相關文章）。
（注：以上來源的即時更新請自行檢索最新版本；本頁所引數字均儘量標註年份與來源，部分行業滲透率及趨勢研判為基於公開資訊的合理綜合，不具唯一權威性。）