FP32

1. 一句話摘要

FP32 是深度學習發展史上服役時間最長、生態相容性最完備的 32 位單精度浮點格式。在十多年的架構演進中，它從神經網路訓練的唯一數值載體，逐步轉型為混合精度體系裡不可替代的數值錨點，承擔著權重主副本儲存、最佳化器狀態維護、關鍵梯度累加等決定訓練穩定性的核心任務，自身始終定義著模型最終精度的上限。

2. 定義與一分鐘理解

FP32 即 IEEE 754 標準中定義的 binary32 格式，用 32 個二進位制位編碼一個實數。32 位被切分為三塊：最高位為符號位 S，接著的 8 位為指數 E，最低 23 位為尾數 T。通過“隱含前導 1”的設計，規約數實際可獲得 24 位有效精度，對應十進位制大約 6 到 7 個有效數字。FP32 的動態範圍橫跨約 1.4×10⁻⁴⁵ 的最小非規約數，到約 3.4×10³⁸ 的最大規約數，足以覆蓋絕大多數物理模擬和神經網路計算需求。對於深度學習實踐者而言，FP32 最直覺的特質在於：它讓從 -10³ 到 10³ 這一區間的常見啟用值與梯度，都能夠以高於 10⁻⁷ 的相對誤差被表示和累加。這種“安靜的可靠性”使 FP32 長期成為所有架構的預設精度，也是今天任何低精度實驗必須與之對齊的基線。

3. 歷史沿革與產業背景

2012 年 AlexNet 點燃深度學習復興時，NVIDIA GPU 的計算管線完全圍繞 FP32 建置。Fermi 架構的 CUDA Core 每一個時鐘週期可完成一條 FMA（fused multiply‑add）指令，當時所有卷積、全連線和啟用函式均在 FP32 下執行。一直到 Pascal 架構（2016 年）為止，訓練速度的代際提升幾乎等價於 FP32 FLOP/s 的線性增長。2017 年是轉折點：Transformer 的出現使模型引數量在數年內從數億躍遷至數千億，同時 NVIDIA Volta 架構首次搭載 Tensor Core，能夠以 FP16 為輸入、FP32 為累加進行矩陣乘加，FP32 的計算角色開始分化。隨後，Google TPU v3 引入 BF16，將 FP32 進一步定位為“主引數副本 + 最佳化器狀態”的載體。進入 2020 年代，H100 等 GPU 宣告 FP8 時代的到來，但每一條混合精度訓練路徑都仍然保留著至少一份 FP32 的權重母本，並強制最佳化器狀態以 FP32 儲存。可以說，FP32 已從訓練的“施工隊”變為施工過程中的“藍圖”與“監理”。

4. IEEE 754 標準規範精要

IEEE 754‑2008 以及後續的 2019 修訂版對 binary32 的所有編碼和運算進行了嚴格定義。FP32 的指數段採用移碼（biased exponent），偏移量 bias = 127，因此 8 位指數可以表示的真實指數範圍是 −126 至 127。當指數字段全 0 時，隱含前導位變為 0，進入非規約數域，用來填補 0 到最小規約數之間的下溢缺口；指數全 1 且尾數為 0 表示正負無窮大；指數全 1 且尾數非 0 表示 NaN，並進一步通過尾數最高位區分靜默 NaN 和訊號 NaN。標準規定了五種基本格式之外，還詳細描述了四種舍入模式：向最近偶數舍入（roundTiesToEven）、向正無窮舍入、向負無窮舍入、向零舍入。深度學習架構預設採用向最近偶數舍入，這一模式可以消除單方向的統計偏差，是 FP32 訓練可以在不同硬體間嚴格復現的數學基石。此外，標準還定義了異常標誌（下溢、上溢、除以零、無效操作、不精確結果）以及它們的預設處理方式，這直接影響架構如何報告梯度中的 Inf 和 NaN。

5. 記憶體版面配置與位級表示

從記憶體視角看，FP32 的 32 位排列為：

[S (31)][Exponent (30:23)][Mantissa (22:0)]

無論採用小端還是大端儲存，這一邏輯順序固定不變。幾個典型數的十六進位制編碼有助於建立直覺：

• 正零：0x00000000；負零：0x80000000。
• 數值 1.0：符號 0，指數 127（移碼後 127 對應真實指數 0），尾數全零（隱含 1.0），即 0x3F800000。
• 數值 −2.5：符號 1，指數 128（真實指數 1），尾數儲存 0.25 的二進位制 .01，其位模式為 0x200000。組合後得到 0xC0200000。
• 最大規約數：指數 254（全 1 指數保留給特殊值，故最大規約指數為 254），尾數全 1，對應 0x7F7FFFFF，數值約為 3.4028235×10³⁸。
• 最小正規約數：指數 1，尾數全 0，0x00800000，約為 1.1754944×10⁻³⁸。
• 最小非規約數：指數 0，尾數最低位為 1，0x00000001，約為 1.4012985×10⁻⁴⁵。

對於訓練中的梯度，瞭解其二進位制表示尤為關鍵。當梯度絕對值下溢至小於最小正規約數時，它會以非規約數的形式存在，若硬體未對非規約數進行快速路徑最佳化，計算吞吐可能驟降數十倍，造成訓練卡頓且難以排查。

6. 數值範圍、精度與特殊值行為

FP32 可表示的數值範圍極為寬廣，但在深度學習場景中，更有意義的指標是最大與最小可安全傳播的數值。正向計算中，啟用值通常在 (0, 100) 區間，FP32 擁有大量解析度；反向傳播時，梯度值域與網路深度、損失函式形態密切相關。對於具有 1000 層的 Transformer，梯度量級可能從 10¹ 衰減到 10⁻¹⁵，這需要浮點格式既能區分微小差異，又能防止下溢。FP32 的規約數域可精確覆蓋這一範圍，其約 1.2×10⁻³⁸ 的最小正常值遠低於常見梯度下界，因此正常的訓練很難觸及非規約數域。但如果權重初始化不當，或學習率設定過於激進，梯度可能短暫進入非規約區，此時精度迅速惡化，最佳化方向被噪聲主導。

關於特殊值行為，當累加結果超出 3.4×10³⁸ 時會變為 ±Inf，Inf 參與後續運算極易生成 NaN，從而迅速汙染整個模型。而 NaN 的靜默傳播特性使其難以定位源頭：一個批次中出現一次除零操作就會導致所有引數更新變為 NaN。架構通常通過 torch.autograd.set_detect_anomaly 或 tf.debugging.enable_check_numerics 來捕獲異常，但前提是工程師對這些特殊值的位表示有所瞭解。

7. FP32 與其它浮點格式的系統性比較

理解 FP32 的地位，必須將其置於多種浮點格式構成的譜系中。

• FP64：64 位雙精度，1 個符號位、11 位指數、52 位尾數（隱含 1 位，共 53 位有效精度），動態範圍約 ±10⁻³⁰⁸ 至 ±10³⁰⁸。在科學計算和傳統 HPC 中佔據主導，但對深度學習而言，其額外的精度並不能換來優秀的訓練效果，反而使記憶體頻寬和快取利用率翻倍下降。僅在需要極高精度數值模擬（如 PDE 求解）或最佳化器狀態（如 LAMB 的部分內部累加）中偶有使用。
• FP16：16 位半精度，5 位指數、10 位尾數，動態範圍僅約 6×10⁻⁸ 至 65504。其窄小的指數域導致訓練中極易產生上溢和下溢，必須依賴損失縮放（loss scaling）將梯度拉入可表示區間。FP16 與 FP32 累加的組合（FP16‑FP32 FMA）是 Volta 世代的標準混合精度方案。
• BF16：Google 提出並很快被各 AI 加速器廣泛採納的 16 位格式。它保留與 FP32 完全相同的 8 位指數，僅將尾數砍至 7 位。其動態範圍與 FP32 一致，因此無需損失縮放，前向和反向傳播中的溢位風險與 FP32 相同，但精度較低，大約相當於保留兩位有效數字。BF16 是目前分散式訓練中最常見的前向計算格式，其引數梯度能夠直接與 FP32 主副本相加，無需縮放。
• FP8：NVIDIA H100 引入的 8 位格式，分為 E4M3 和 E5M2 兩種變體，分別側重精度和動態範圍。FP8 需要更精細的分塊縮放策略，其作用域僅限於運算元內部，梯度與權重更新仍須在更高精度下完成，FP32 作為主副本的地位依舊。
• INT8、INT4：針對推論的整數量化格式，它們完全不具備處理梯度的能力，與 FP32 屬於不同生命週期的產物。

這些比較揭示了一條關鍵規律：FP32 是所有低精度格式的“數值原點”，任何低精度操作所累積的誤差，最終都必須在 FP32 的空間內被校正和吸收。因此，FP32 的 IEEE 754 相容性和舍入確定性，直接決定了整個混合精度體系的數值可靠性。

8. 深度學習訓練中的角色全景

一個典型的監督學習訓練步包含前向傳播、損失計算、反向傳播和引數更新四個階段，FP32 在每個階段的參與方式和必要性各不相同。

• 權重主副本（master weights）：現代混合精度訓練中，權重在前向和反向傳播時被轉換為 FP16 或 BF16，以減少計算量和記憶體佔用。但架構始終在記憶體中維護一份 FP32 精度的權重副本。更新時，梯度累加至該 FP32 副本上，然後將低精度檢視重新整理。這一設計使得千步迭代後的微小更新（如 10⁻⁷ 量級）不會被低精度格式吞沒，從而保持模型收斂到與純 FP32 訓練幾乎無差別的最終精度。
• 啟用值：啟用值通常儲存在前向計算所用的精度中，以減少視訊記憶體。但對於某些對數值敏感的操作（如 softmax、layer normalization 的內部累加），架構會自動提升至 FP32 執行，避免溢位或精度不足導致的 NaN。
• 梯度：反向傳播的梯度依據計算精度產生，但在進行 all‑reduce 通訊前，通常會在 FP32 下累加，以保證分散式訓練中所有節點的梯度加和精確無誤。尤其是梯度累積（gradient accumulation）場景，若每一步累積都在 FP16 下進行，小數加到大數上極易被舍入吞沒，從而導致最佳化器無法接收正確的梯度方向。
• 最佳化器狀態：Adam、AdamW、Adafactor 等主流最佳化器需要為每個引數維護一階和二階動量（若使用 Adam 則累計兩倍於引數量的狀態）。這些狀態具有長記憶特性，數值範圍可達 10⁻¹⁰ 至 10¹⁰，必須使用 FP32 儲存。若將動量降級為 BF16，其 7 位尾數幾乎無法同時容納大值和小值的更新，最佳化器將快速退化。

這一切表明，FP32 在訓練中並不僅僅是“精度最高的那個資料型別”，它扮演了數值狀態的唯一可靠持久化層。

9. 混合精度訓練原理與 FP32 的錨點機制

混合精度訓練的經典範式由 NVIDIA 在 2017 年與 Volta 架構一併推廣，主要包括三個元件：低精度計算、FP32 主副本、以及損失縮放。當使用 FP16 時，由於動態範圍限制，梯度極可能下溢至零，因此需要在反向傳播前將損失乘以一個大的縮放因子（如 2¹⁶），將梯度幅值整體拉昇到 FP16 的可表示區間，然後在權重更新前再除以該因子還原。這一縮放過程對使用者透明，但所有還原後的梯度更新都作用在 FP32 主副本上，從而保證不被舍入誤差淹沒。

採用 BF16 的混合精度則無需損失縮放，因為 BF16 的指數域和 FP32 完全一致。但即使如此，單靠 7 位尾數的 BF16 直接進行多次引數更新仍會產生顯著的舍入累積誤差：假設引數值為 1.0，學習率與梯度的乘積為 3×10⁻⁸，在 BF16 中這個更新量根本無法被表示（BF16 在數值 1.0 附近的精度間隔約為 7.8×10⁻³），更新將直接丟失。而在 FP32 主副本中，1.0 附近的間隔約為 1.2×10⁻⁷，仍可精確接收該更新。因此，BF16 訓練同樣必須依賴 FP32 主副本。FP32 的錨點作用是混合精度的理論前提：沒有它，低精度計算所累積的每一步舍入誤差將無法被糾正，最終導致模型偏離最優解。

10. 權重主副本的必需性與記憶體開銷權衡

保留 FP32 主副本的代價是視訊記憶體佔用增加。以 175B 引數的 GPT‑3 為例，僅 FP32 權重主副本就需要 175×10⁹×4 位元組 ≈ 700 GB 的視訊記憶體。若其下掛載 BF16 權重檢視、FP32 最佳化器狀態、梯度緩衝區，總視訊記憶體常常突破數千 GB，這是大型模型必須採用模型並行和 ZeRO 最佳化的重要原因。但無論視訊記憶體如何緊張，工程團隊幾乎不會將主副本降級為 BF16 或 FP16，因為實驗早已反覆證明：一旦主副本精度下降，訓練中後期將出現不可逆轉的精度退化，表現為驗證損失提早平台化，下游微調效果顯著變差。

為緩解記憶體壓力，研究者提出了一些折中方案，如使用 FP32 儲存但以 FP16 進行部分最佳化器運算，或者採用 stochastic rounding 將 FP32 更新量以機率方式注入低精度主副本。但這些方案目前仍處於研究階段，尚未成為工業界預設配置。目前所有主流大型模型訓練架構（Megatron‑LM、DeepSpeed、PyTorch FSDP）都強制要求至少一份 FP32 的主權重，且將其視訊記憶體開銷作為預設項納入成本模型。因此，理解 FP32 的記憶體佔用與訓練穩定性之間的關係，是分散式訓練系統設計的核心能力。

11. 最佳化器狀態與 FP32 的不可替代性

Adam 類最佳化器需要維護指數移動平均的一階動量 m 和二階動量 v。這兩個狀態在訓練全程不斷累積歷史梯度資訊。由於不同引數的量級可能跨越多個數量級，m 和 v 的分量可能小至 10⁻¹²，大至 10⁶。FP32 為這兩個狀態提供了足夠的表示精度和動態範圍。若嘗試使用 BF16 儲存 m 和 v，將引發幾個災難性問題：

• 精度截斷：BF16 尾數僅 7 位，意味著相對解析度為 1/128 ≈ 0.78%。任何小於該比例尺度的更新量都會被直接舍入。對於收斂到後期的模型，有效學習率通常極小，更新量遠低於 1%。BF16 最佳化器會將這些更新全部吞沒，導致訓練幾乎停止，或被隨機化。
• 累加漂移：動量更新本質上是一個無限衝激響應（IIR）濾波器，舍入誤差會在其中長期累積併產生系統漂移。FP32 擁有 24 位尾數，相對精度 6×10⁻⁸，在數百萬步訓練中幾乎不引入可觀測的漂移；BF16 的相對誤差放大三個數量級，對於訓練穩定性是致命的。
• 除法安全性：Adam 更新步驟中需要計算 m / (sqrt(v) + epsilon)，其中 epsilon 通常為 10⁻⁸。如果 v 極小且受舍入影響，更新方向可能被嚴重扭曲。FP32 能夠準確表示這個 epsilon 與 v 的相對關係，而 BF16 連 epsilon 本身都無法精確表示。

正因如此，所有訓練架構的核心最佳化器實現內部保持 FP32 狀態。即使某些激進方案使用低精度儲存“壓縮版” m 和 v（如 8‑bit optimizers 採用的塊動態量化），它們在執行實際數學運算時也必須解壓回 FP32，以保證算術完整性。FP32 由此成為最佳化器狀態的安全底座。

12. FP32 在推論部署中的替代與保留

一旦模型訓練完成，推論階段對數值精度的要求便大幅降低。此時，FP32 權重通常被量化為 INT8 甚至 INT4，以換取更高的吞吐和更低的能耗。然而，FP32 在推論中並未完全消失，主要體現在以下幾個方面：

• 精度基線：任何量化方案的準確性評估，都必須以 FP32 推論結果作為黃金標準。如果在量化後精度損失超出可接受範圍，工程師會回溯檢查是哪些層需要保留較高精度。
• 部分敏感運算元：Transformer 中的 attention softmax、LayerNorm 等運算元對數值擾動高度敏感，很多部署方案在量化時會將這些運算元保留在 FP32 或至少 FP16。NVIDIA TensorRT 等推論引擎在建置量化網路時，會將量化親和力低的運算元標記為 FP32，以以保整體精度。
• 混合精度推論：在雲端運算場景下，一些服務會直接使用 FP32 或 FP16 進行推論，以避免量化帶來的長尾精度風險，尤其是在法律、醫療等對誤差零容忍的領域。

推論側的大趨勢無疑是用更低位寬的整數或浮點數取代 FP32，但這一取代過程高度依賴 FP32 提供的精度基準和校準手段。從這個意義上講，FP32 即使不再親自上陣，依然以“裁判”身份繼續存在。

13. 硬體實現與效能剖面

FP32 計算單元是幾乎所有 AI 加速器的基礎元件，但其設計重心已經發生位移。在 NVIDIA A100 上，FP32 吞吐為 19.5 TFLOPS（CUDA Core），而 BF16/FP16 的 Tensor Core 等效吞吐高達 312 TFLOPS，相差 16 倍。這種巨大的效能鴻溝驅使所有訓練都儘可能將矩陣乘加解除安裝到低精度 Tensor Core 上，僅將必須的累加留在 FP32 單元。H100 延續了這一趨勢，甚至為 FP8 提供 3958 TFLOPS 的暴增算力，而其 FP32 僅 67 TFLOPS。顯然，登納德縮放定律失效後，提升算力密度的唯一可行方案是降低精度位寬，但 FP32 累加器作為降低精度後誤差的歸攏處，其正確性和吞吐依然是晶片設計的關鍵約束。

CPU 側，Intel Xeon 的 AVX‑512 支援一條指令同時執行 16 個單精度浮點運算，FP32 仍然是 CPU 推論和中小規模微調的主力精度。由於 CPU 不包含專用低精度矩陣引擎，FP32 的軟體生態成熟度使其仍為推薦精度。在訓練側，當 GPU 視訊記憶體不足時，啟用 CPU offloading 通常會將最佳化器狀態以 FP32 形式交換到主存，CPU 的高頻寬和 AVX 指令集可在一定程度上壓縮通訊開銷。

14. 數值穩定性、除錯與常見陷阱

儘管 FP32 足夠魯棒，深層網路訓練中仍會週期性地遭遇數值異常，主要包括梯度消失、梯度爆炸、NaN 傳播。FP32 下診斷這些問題需要工程師掌握下列關鍵技巧：

• 按位檢視：通過 tensor.view(torch.int32) 或 tensor.bin() 直接檢查可疑值的 IEEE 754 編碼，能立刻區分是 Inf（0x7F800000 或 0xFF800000）、NaN（0x7FC00000 附近）還是極端值。在分散式環境中，此類異常常由錯誤的 all‑reduce 或梯度裁剪造成。
• 梯度直方圖：記錄每層梯度的 FP32 直方圖，並追蹤最小值、最大值和 NaN 比率。異常通常以少量 NaN 先行出現，隨後在幾次迭代內擴散至整個網路。及時發現第一個包含 NaN 的層能快速定位數值不穩定的操作，典型如除零或負數的平方根。
• 非規約數陷阱：部分硬體在遇到非規約數時效能會急劇下降。如 NVIDIA GPU 在預設設定下對非規約數支援是開啟的，但某些老款顯示卡或低功耗模式下會 flush to zero（FTZ）。如果觀察到迭代時間突然波動，應檢查梯度分佈是否觸發了大量非規約數。解決方案包括在計算臨界操作前新增微小偏移（如 eps），或使用更高精度累加器。
• 損失縮放調優：對於 FP16 混合精度，損失縮放因子需要動態調整。PyTorch 的 GradScaler 在檢測到連續溢位時會降低縮放因子，並在無溢位時提高。理解縮放因子的動態曲線，能幫助判斷模型訓練的數值穩定性邊界。

診斷工具方面，torch.autograd.detect_anomaly() 會在反向傳播的第一個異常位置丟擲錯誤，但其會顯著拖慢訓練。更高效的方案是使用 torch.cuda.memory_summary 結合自定義 hook 來監控關鍵 Tensor 的位模式。FP32 的可預測位級行為，使所有異象的排查都有一條清晰的因果鏈，這是低精度格式難以提供的。

15. 未來趨勢：FP32 會退出歷史舞臺嗎？

在可見的十年內，FP32 不會從深度學習訓練中消失。它的角色將繼續從計算主體向數值基準收縮，但完全去除 FP32 的嘗試面臨三重根本性障礙。

首先，最佳化器狀態的複雜度階數與精度需求無法被低精度格式滿足。當前 Adam 類最佳化器的二階矩必需要至少 20 位有效尾數才能在萬億次更新中保持穩定，這恰好是 FP32 所能提供的。除非出現全新最佳化演算法，其狀態量可以被因子化為與位寬無關的表徵（如低秩適應），否則最佳化器狀態的高精度儲存是不可妥協的。

其次，IEEE 754 對 FP32 的嚴格定義賦予了跨平台確定性。這一特性對於金融、科學計算模型訓練、以及監管要求可復現結果的場景不可或缺。任何低精度格式尚無法提供同等水平的跨硬體一致性。

最後，FP32 是低精度創新的參照系。每出現一種新的更低位數格式（FP4、對數格式、posit 等），其有效性的唯一衡量標準就是與 FP32 訓練結果的對齊程度。FP32 作為“無爭議的真值”池化角色，使其即使在計算佔比趨近於零時，依然擁有概念上的中心性。

但 FP32 的形態可能會發生演變。例如，未來晶片可能將 FP32 累加器直接嵌入低精度張量核心，使其在資料流中無縫執行，不暴露為獨立的指令。儲存層面上，分層儲存最佳化可能將 FP32 主副本壓縮為帶縮放因子的 FP32 分塊或專用格式，從而緩解視訊記憶體壓力。總之，FP32 終將不再是算力主角，但它將永遠作為高可信賴的數值基石，支撐起日益激進的精度壓縮體系。理解 FP32，正是在理解深度學習的數值世界觀。