混合精度训练技术

1. 摘要与核心结论

深度学习正经历从千万参数到万亿参数的跨越，训练算力需求以每 3.5 个月翻一番的速度急剧膨胀。在这一背景下，混合精度训练（Mixed Precision Training）不再只是一个性能优化选项，而是已经成为大规模模型训练不可或缺的工程基石。其核心思想看似简单——在训练过程中混合使用不同数值精度，如 FP16 与 FP32、BF16 与 FP32，乃至最新的 FP8——但在工程实现和数值理论层面蕴含着丰富的设计智慧。

本报告通过 15 个系统化章节，全面剖析混合精度训练的技术原理、产业实践和前沿演进。核心结论包括：第一，混合精度训练可在几乎不损失模型最终精度的前提下，将显存占用降至纯 FP32 基线的约 50%，吞吐量提升 1.6× 至 2.15×。第二，该技术已成为支撑 GPT、Llama、Gemini 等千亿乃至万亿参数模型高效训练的效率基石，并被 PyTorch、TensorFlow、JAX 等主流框架深度集成。第三，损失缩放（Loss Scaling）是 FP16 混合精度的关键保护机制，而 BF16 则因其与 FP32 相同的指数范围而天然规避了下溢风险，成为大语言模型训练的首选格式。第四，随着 Hopper 架构引入 FP8 支持，混合精度正进一步向 8 位浮点迈进，模型 Flops 利用率（MFU）可突破 60%~70%。第五，未来混合精度将由静态策略向完全自适应的精度管理演进，并与稀疏化、量化感知训练等技术深度融合，持续压低大模型训练的边际成本。

对于产业决策者而言，理解混合精度不仅是技术选型的需要，更是把握整个 AI 基础设施效率脉搏的关键。本报告旨在提供一份兼具深度与广度的技术参考，帮助读者从硬件、框架、算法三个维度建立完整的混合精度认知体系。

2. 技术背景与产业驱动：精度与效率的历史博弈

深度学习训练的数值精度选择，本质上是一个在计算效率与数值稳定性之间寻找平衡的经典命题。要理解混合精度为何成为产业标配，必须回到 GPU 计算架构和模型规模增长的双重历史维度。

在 2017 年之前，深度学习训练几乎完全基于 IEEE 754 单精度浮点数（FP32）。FP32 拥有 1 位符号、8 位指数和 23 位尾数，可表示约 1.4×10⁻⁴⁵ 到 3.4×10³⁸ 范围的数值，精度约为 7 个十进制有效数字。对于当时数百万参数的模型而言，FP32 提供了充分的数值精度，GPU 显存也足以容纳。然而，随着 Transformer 架构的兴起和模型规模的指数增长，情况发生了根本变化。

从 GPT-1 的 1.17 亿参数到 GPT-4 的约 1.8 万亿参数，模型规模在五年间增长了四个数量级。与此同时，GPU 单卡显存容量从 V100 的 32GB 增长至 H100 的 80GB，仅扩大 2.5 倍。这一剪刀差意味着，训练大模型必须采用模型并行、流水线并行等分布式策略，但即使如此，单设备上的显存压力依然巨大。在训练中，一个 FP32 张量占用 4 字节；对于万亿参数模型，仅参数本身就需要约 4TB 存储，加上梯度、优化器状态（如 Adam 的动量项和二阶矩）和激活值，总显存需求轻松突破 20~30TB。若全部使用 FP32，需要上千张 GPU 才能容纳，成本极为高昂。

更关键的是计算吞吐量的瓶颈。传统 GPU 中，FP32 的算术逻辑单元（ALU）算力相对有限。以 V100 为例，其 FP32 峰值算力为 15.7 TFLOPS，而半精度 FP16 的峰值算力则为 125 TFLOPS，是前者的 8 倍。这一差异源于 NVIDIA 从 Volta 架构开始引入的 Tensor Core 专门单元，其原生支持 FP16 乘加运算，能够在一个时钟周期内完成 4×4 矩阵的乘加融合操作。如果训练全程使用 FP32，意味着大量算力资源被闲置，训练时间被不必要地拉长。

显存带宽是另一个关键约束。大型 Transformer 模型在训练时，大量时间消耗在激活值的读写上。将激活值从 FP32 转换为 FP16，数据量减半，带宽压力立即减轻，使得计算单元更接近峰值性能。这一效应在现代 GPU 上尤为显著，因为计算能力的增长远快于内存带宽的增长。H100 的张量计算能力较 A100 提升了 3 倍以上，但 HBM3 带宽仅从 2TB/s 提升至 3.35TB/s，这意味着若无精度优化，大量时间将浪费在等待数据上。

产业成本的压力同样不可忽视。训练一个 GPT-4 级别模型，假设使用 25000 张 A100 训练 90 天，电力成本可达数千万美元。若能通过混合精度将训练吞吐量提升 50%，即可节省超过 30% 的 GPU 租赁或折旧成本，价值数以千万计。因此，从产业经济角度，混合精度训练带来的效率提升是决定性的。

正是在这样的技术推力与成本拉力的双重作用下，混合精度训练从 2017 年 Baidu 和 NVIDIA 联合提出 FP16 混合精度训练方法开始，迅速成为行业标准。2018 年 Google 在其 TPU v2/v3 中引入 BF16 支持，进一步解决了 FP16 的数值范围不足问题。到 2023~2024 年，NVIDIA 的 Hopper 架构开始支持 FP8，混合精度的边界被再次拓宽。

3. 混合精度训练的基本范式：主权重高精化、前反向低精化、梯度尺度归一化

混合精度训练并非简单地将所有张量转换为低精度，而是遵循一个精妙的三层架构：主权重始终以高精度（FP32）保存在显存中，作为“真值”的唯一定锚；前向和反向传播的计算和存储则以低精度（FP16、BF16 或 FP8）进行，以充分利用硬件加速和带宽节省；当梯度因低精度表示范围不足而面临下溢风险时，通过损失缩放将梯度拉回可表示区间，最终在优化器更新时还原为真实梯度。这一范式可概括为“主权重高精化、前反向低精化、梯度尺度归一化”。

在一个典型的训练迭代中，流程如下：

步骤一：主权重副本的维护。 在训练的任意时刻，都有一份 FP32 的主权重存储在显存中。这是模型的“法律文本”，无论前向传播用何种精度进行，所有参数更新的累积都作用在这份高精度副本上。这样做确保了参数更新过程不会因半精度浮点数有限的尾数（FP16 仅 10 位有效尾数）而截断微小更新。例如，当学习率为 1e-5 且梯度为 1e-8 时，两数乘积为 1e-13，这在 FP16 中可能直接变为 0，而在 FP32 中则可被正常表示和累积。

步骤二：前向传播的低精度化。 每个迭代开始时，从 FP32 主权重转换（Cast）出一份 FP16/BF16 副本，输入数据也通常转换为同精度。所有的矩阵乘法、卷积等计算密集型操作，均使用低精度 Tensor Core 或等效硬件单元完成。由于半精度数据量仅为 FP32 的一半，矩阵乘法所需的显存读写量大幅减少，同时 Tensor Core 的 FP16 算力通常是 FP32 的 8 倍或更高，因此前向计算时间显著缩短。激活值（即每层的输出）通常以半精度存储，仅在需要高精度的操作（如 Softmax 归一化、LayerNorm）中临时提升为 FP32，计算完成后再截断回半精度存储。

步骤三：损失计算。 损失函数通常涉及求和、对数等操作，数值范围较宽。为保证训练稳定性，损失值一般至少以 FP32 计算。实践中常见两种做法：一是将最后的 logits 输出转为 FP32 后计算损失；二是全程保持损失计算在 FP32 下进行。这样能避免因 FP16 表示的精度局限导致损失值发生偏移，进而影响收敛方向。

步骤四：反向传播的低精度化。 基于低精度的激活值和权重，反向传播过程中产生的梯度张量也以半精度计算和存储。这一步的显存和带宽节省同样显著。然而，半精度梯度可能因数值过小而无法表示，尤其是在训练的后期或模型深处，梯度量级常常低于 FP16 的最小正规数（约 6×10⁻⁸）。若不加处理，这些梯度会被置为 0，造成参数停止更新的“死区”。

步骤五：损失缩放与梯度恢复。 为了解决上述下溢问题，在反向传播前将一个损失缩放因子（Loss Scale）乘到损失值上，使得反向传播产生的梯度被等比例放大。该因子通常为 8 到 65536 之间的 2 的幂次。反向传播完成后，在将梯度传递给优化器之前，再将所有梯度除以同一缩放因子，恢复真实尺度。这一技巧在 FP16 混合精度中至关重要，而 BF16 由于其指数位数与 FP32 相同（8 位），动态范围覆盖了大部分梯度下溢场景，因此往往不需要复杂的损失缩放，甚至可以直接使用固定缩放因子 1.0。

步骤六：高精度参数更新。 还原后的梯度被转换为 FP32，与 FP32 主权重一同送入优化器（如 AdamW）。优化器内部的状态（动量、二阶矩等）通常也保持 FP32，以保证更新计算的准确性。完成更新后，下一个迭代再次从 FP32 主权重转换出半精度副本，循环往复。

这一基本范式的优雅之处在于，它将硬件的高效低精度计算与数值分析中的高精度累加原则有机结合，以最小的工程代价实现了效率与稳定性的兼得。这也是为什么它能够从学术界的初步探索，迅速演变为工业级大规模训练的标准操作流程。

4. 主流数值格式对比：FP16、BF16 与 FP8 的权衡

混合精度训练中“半精度”的具体选择直接影响数值稳定性和硬件效率。当前产业实践中，三种主要的浮点格式构成了递进式技术路线：FP16、BF16（Brain Floating Point）和方兴未艾的 FP8。

FP16 遵循 IEEE 754-2008 半精度标准，包含 1 位符号、5 位指数、10 位尾数。其表示范围约为 5.96×10⁻⁸ 到 65504，精度约 3.3 个十进制有效数字。FP16 的优势在于硬件支持成熟，NVIDIA 从 Volta 架构开始就在 Tensor Core 中对其提供了原生加速，FP16 的矩阵乘加吞吐量可达 FP32 的 8 倍以上。然而，FP16 的指数位较少，表示范围狭窄，使得它在处理大值（如上溢）和小梯度（下溢）时都面临挑战。这是引入损失缩放机制的直接原因。

BF16 由 Google 在 TPU 开发中提出，并迅速被 NVIDIA A100 及后续 GPU 采纳。BF16 将尾数截断为 7 位，但保留与 FP32 相同的 8 位指数，因此其表示范围与 FP32 几乎一致（约为 1.17×10⁻³⁸ 到 3.39×10³⁸），只是精度下降到约 2 个十进制有效数字。这种设计使得 BF16 对梯度的下溢和上溢具有天然鲁棒性，在大语言模型训练中尤其受欢迎，因为 LLM 的梯度分布往往比计算机视觉模型更偏向小值，且训练过程中的超参数不需要因精度变化而大改。从 FP32 向 BF16 的迁移通常只需简单地将张量截断，无需复杂的动态损失缩放，训练超参数几乎可以保持不变。这大幅降低了用户的使用门槛。但代价是，BF16 的尾数精度低于 FP16，在个别对精度要求极高的计算（如小学习率下的长尾收敛）中可能引入微小的收敛减速。

FP8 是 NVIDIA 在 H100 GPU 中引入的最新精度格式，分为 E4M3（4 位指数，3 位尾数）和 E5M2（5 位指数，2 位尾数）两种变体。E4M3 提供更高的精度但范围较窄，适用于前向传播的权重和激活；E5M2 提供更广的范围但精度低，更适合梯度表示。FP8 将数据宽度压缩到 1 字节，理论上相比于 FP16/BF16 可将存储和带宽需求再次减半，算力密度翻番。但 FP8 的范围和精度更为逼仄，需要更细粒度的缩放策略来维持训练稳定性。NVIDIA 为此在 Hopper 架构中引入了可编程的缩放因子，允许对输入张量的每个 128 元素块应用独立的缩放，这种“块级缩放”是 FP8 训练成功的关键。目前，FP8 混合精度训练已在 Llama 3 等前沿模型的训练中得到初步应用，并展现出将 MFU 推至 60%~70% 的惊人效率。

三种格式并非互相取代，而是构成了工具箱，不同场景有不同最优选择。对于 CV 和传统中小模型，FP16 凭借成熟的生态和充足的表示范围依然广泛使用；对于大语言模型和扩散模型，BF16 因其“零成本迁移”和稳定性成为默认选择；对于追求极致效率和最新硬件的团队，FP8 正成为新的效率高地。部分先进训练方案甚至在前向传播中使用 FP8，梯度使用 FP8，主权重使用 FP16，优化器状态使用 FP32，形成多层级的混合精度策略，最大化硬件利用率。

5. 硬件加速生态：从 Volta 到 Hopper 的 Tensor Core 演进

混合精度训练的产业落地与 GPU 硬件中专用低精度计算单元的演进密不可分。以 NVIDIA 为例，从 2017 年的 Volta 架构到 2023 年的 Hopper 架构，Tensor Core 已经历了四代迭代，每一代都深刻塑造了混合精度训练的能力边界。

Volta 架构（V100，2017）： Tensor Core 首次亮相，支持 FP16 输入和 FP32 累加的矩阵乘加运算。在一个 SM 单元内，Tensor Core 可以每个时钟执行 64 个 FP16 FMA（融合乘加）操作，使 V100 的深度学习峰值算力达到 125 TFLOPS（FP16），是同期 FP32 算力的 8 倍。Volta 的这一硬件创新直接催生了混合精度训练的生产级方案。用户必须在代码中显式调用半精度数据类型，并手动管理损失缩放。

Turing 架构（T4/RTX 20 系列）： 引入了 INT8、INT4 等整数格式的加速，但对 FP16 混合精度的增强相对有限。该架构更多面向推理场景的精度优化。

Ampere 架构（A100，2020）： 这是混合精度生态的一次飞跃。A100 的第三代 Tensor Core 首次加入 BF16 和 TF32 的支持。TF32 是 19 位格式，在保持与 FP32 相同范围的同时提供了 10 位尾数，方便用户用最少的代码改动（仅需替换矩阵乘法函数）获得 1.6 倍的加速。而 BF16 的硬件支持使得大型 Transformer 训练可以告别繁复的动态损失缩放。此外，A100 的 Tensor Core 支持稀疏结构化矩阵乘，进一步将有效算力提升 2 倍。在 MLPerf Training 等基准测试中，A100 的混合精度训练吞吐可达 V100 的 2~4 倍。

Hopper 架构（H100，2022-2023）： 第四代 Tensor Core 带来了 FP8 的原生支持，以及 Transformer Engine。Transformer Engine 是一个软件-硬件协同优化库，能够动态地在 FP8 和 FP16/BF16 之间切换，并自动管理缩放因子。通过在矩阵乘法中使用 FP8，H100 的理论 FP8 Tensor Core 算力达到 3958 TFLOPS，是 A100 FP16 算力的 6 倍。更关键的是，Hopper 引入了块级缩放机制：对于每个 128 元素的矩阵乘法输入块，可以附带独立的缩放因子，由硬件在乘加过程中自动解算。这解决了 FP8 直接表示梯度时极易产生的局部上溢/下溢问题。在 Llama 3 70B 模型的训练中，使用 H100 的 FP8 混合精度已实现约 1.4× 的额外吞吐提升，且模型质量无损。

除了 NVIDIA 路线，Google 的 TPU 系芯片从 TPU v2 开始就围绕 BF16 构建生态，其 MXU（矩阵乘法单元）天然支持 BF16 输入和 FP32 累加，使得基于 TPU 的训练天然具有混合精度特性。华为 Ascend 系列 NPU 则支持 FP16 和 BF16，并通过达芬奇架构实现高效的半精度计算。AMD 的 Instinct MI300 系列也开始深度支持 BF16 和 FP8，追赶混合精度加速的潮流。

硬件的快速迭代不仅提升了混合精度的效率峰值，更降低了使用门槛。从 Volta 时代需要手动管理精度转换和损失缩放，到 Hopper 时代通过 Transformer Engine 实现自动化精度决策，混合精度训练正从一门“手艺”走向普适的基础设施。

6. 前向传播与激活存储的半精度化：带宽与算力的双重释放

在混合精度训练范式中，前向传播是低精度算术红利最直接的体现阶段。该阶段将计算密集的矩阵乘法替换为半精度 Tensor Core 操作，同时将激活值的存储精度降级，从而在算力和带宽两个维度释放巨大潜力。

现代 Transformer 模型的前向传播主要由线性层（投影矩阵乘法）和注意力机制中的矩阵乘法构成。以 Llama 3 70B 为例，一次前向传播涉及的浮点运算次数约为 7×10¹² 次。若全部使用 FP32，即使 H100 的 FP32 向量算力也仅约 67 TFLOPS，完成一次前向需要超过 100 毫秒。但转换为 FP16 或 BF16 Tensor Core 运算后，有效算力跃升至 990 TFLOPS 以上，前向时间可缩减至十几毫秒。这种巨大的加速源于半精度矩阵乘法更短的指令执行周期和更高的并行度。

带宽节省是另一项关键收益。大型模型训练常常受限于显存带宽而非纯粹算力。激活值（每层 Transformer 的输出）在训练时必须保留用于反向传播计算梯度，这占据了显存的大头。在纯 FP32 训练中，激活值存储可能占据总显存使用量的 40%80%。将其转换为 FP16 或 BF16，激活值数据量立即减半。这不仅直接降低了单张 GPU 的显存压力，允许在相同硬件上使用更大的 micro batch size 或更长的序列长度，而且减少了 GPU 计算单元在等待数据时的空闲周期，提高了 MFU。以 Megatron-LM 训练 GPT-3 175B 为例，通过激活检查点（Activation Checkpointing）和 FP16 激活存储的组合优化，单卡可容纳的 micro batch size 提升了 24 倍，整体训练吞吐提升了约 30%。

然而，激活存储的半精度化并非全无代价。某些激活函数对于精度损失相对敏感。例如，Softmax 操作涉及指数和求和，FP16 的动态范围可能导致指数上溢或求和精度不足，引起输出分布偏移。因此，典型的混合精度实现会在 Softmax 计算前将输入临时转换为 FP32，计算完成后再截断为 FP16 存储。LayerNorm 和 RMSNorm 同样需要 FP32 的累加器来保证小方差的准确计算。这些“高精度孤岛”虽然略微增加了计算量，但保障了模型训练的收敛特性。实践中，框架会自动处理这些精度转换，用户通常无需干预。

此外，前向传播还涉及 dropout、随机深度等正则化操作。这些操作的数据流较小，通常浮点精度影响微乎其微，直接在半精度下进行即可。对于位置编码（如 RoPE）这类涉及三角函数旋转的操作，FP32 精度通常会被保留，以确保旋转角度的精确性。

总体而言，前向传播的半精度化是混合精度训练中最成熟、收益最明确的部分。通过替换矩阵乘法算子和智能的精度管理，现代训练系统可在不牺牲数值稳定性的前提下，持续获取接近硬件峰值的计算效率。

7. 反向传播中的梯度精度与带宽节省：下溢之困与缩放之道

如果说前向传播的半精度化主要释放算力，那么反向传播的精度降低则更多关注带宽节省和算力提升，但同时也引入了混合精度训练中最棘手的问题——梯度下溢。

在反向传播过程中，针对每一层的输入梯度和权重梯度均通过链式法则计算得出。权重梯度的计算通常涉及激活值的转置与输出梯度的矩阵乘法，这部分同样是计算密集且带宽密集的操作，可以从 Tensor Core 的半精度加速中获益良多。输入梯度则用于向前一层传递，同样以半精度存储和计算。整体上，反向传播的浮点操作量约是前向传播的两倍，因此半精度加速带来的绝对收益更加显著。

然而，梯度的数值分布特性与权重、激活不同。随着训练进行，梯度往往呈现长尾分布：大量梯度的绝对值极小，尤其在网络深层和训练后期，部分梯度的量级可能低至 1e-10 到 1e-15 范围，而 FP16 的最小正规数约为 6e-8，这意味着在没有任何保护的情况下，大量有效梯度会被截断为 0，导致参数无法更新。这种“下溢”现象在 FP16 中尤为严重，会表现为损失下降停滞或震荡，模型无法收敛到最佳状态。

BF16 凭借与 FP32 相同的 8 位指数，其最小正规数约为 1.17e-38，动态范围覆盖了绝大多数训练场景下的梯度分布，因此 BF16 训练通常无须损失缩放，仅需在主权重更新时保持 FP32 即可。这也是 BF16 在大模型社区迅速流行的核心原因之一。

损失缩放（Loss Scaling）是为 FP16 量身定制的解决方案。其原理简单而有效：在计算损失之后、反向传播之前，将损失值乘以一个较大的缩放因子 S（例如 1024）。由于反向传播是线性过程，这一缩放会等比例地放大所有权重梯度和输入梯度。当缩放后的梯度量级普遍进入 FP16 的可靠表示区间后，下溢问题便迎刃而解。在优化器更新之前，再将所有梯度除以 S，恢复到真实的梯度尺度。这样，FP32 权重更新所接收到的梯度与未缩放时在数值上等价，但半精度梯度的低精度表示风险被规避。

一个典型的动态损失缩放策略会从初始 S 值（如 2¹⁶=65536）开始，每隔若干步检查是否有梯度上溢（即出现 Inf 或 NaN）。出现上溢则跳过本次更新并减半 S；若连续数百步未出现上溢，则尝试倍增 S 以更好地保护小梯度。这种自适应机制能在训练的全程保持缩放因子的合理水平，成为 FP16 混合精度训练中不可或缺的组件。

对于 FP8 训练，梯度表示面临更为严峻的挑战。E5M2 格式的最小正规数约为 1.5e-7，仍然需要缩放；而 E4M3 的范围更窄。因此 FP8 混合精度普遍采用逐张量或逐块的缩放方法，对不同张量甚至不同 128 元素块施加独立的缩放因子，以保证数值稳定。这一技术细节正是 Hopper 架构 FP8 训练高效且稳定的基石。

总体而言，反向传播的精度选择是混合精度训练中精细权衡的集中体现：既要充分享受低精度带来的带宽和算力增益，又必须借助损失缩放等技巧维护梯度的健康分布。这一平衡一旦掌握，训练的稳定性和效率便可兼得。

8. 损失缩放：理论与自适应算法

损失缩放是 FP16 混合精度训练的经典配套技术，其背后的数学原理简洁而强大。理解其工作机理，对于调优混合精度训练的稳定性和效率至关重要。

设原始损失值为 L，反向传播计算得到的原始梯度为 ∇L。将 L 乘以缩放因子 S 得到缩放后的损失 L’ = S·L。由于微分算子是线性的，缩放的损失产生的梯度 ∇L’ = S·∇L。因此，在反向传播中，所有参数梯度都被放大了 S 倍。如果 S 选择得当，这种放大将原始梯度从 FP16 的下溢区域移动到了安全的表示区间。优化器更新参数前，将梯度除以 S，得到还原的原始梯度值：∇L = (∇L’) / S。在 FP32 中进行这一除法操作是完全精确的，因此最终的参数更新与未缩放的情况在数学上等价。

这种“缩放-还原”的简单技巧，之所以需要精心设计的自适应算法，是因为 S 的选取面临矛盾：S 越大，对小梯度的保护越好，但大梯度在上溢（超过 FP16 最大值 65504）的风险也越高。一旦出现上溢，梯度变为 Inf 或 NaN，会导致参数更新失败，模型可能损坏。因此，必须动态地寻找 S 的上限，即刚好不会引发上溢的最大缩放因子。

动态损失缩放算法通常遵循如下逻辑：设定一个初始缩放因子 S（如 2²⁴=1.67×10⁷），以及一个增长间隔和缩减因子。训练过程中，每经过 N 次迭代（例如 2000 步），检查期间是否有任何梯度的 FP16 表示中出现 Inf 或 NaN。若未出现上溢，则尝试将 S 乘以一个增长因子（通常为 2），以更好地覆盖更小梯度的新区域；若检测到上溢，则舍弃本次迭代的梯度更新（不应用到模型），并将 S 除以缩减因子（通常为 2），并可能重置增长间隔。这种策略可以在不增加过多同步开销的情况下，让 S 自动适应当前训练阶段的梯度分布。

一些改进的自适应算法（如基于运行统计的损失缩放）通过记录梯度大小分位数来预估合适的 S，使其更平滑地调整。此外，对于多 GPU 分布式训练，需要在所有 GPU 之间同步上溢状态，通常采用逻辑 OR 操作，即任一 GPU 出现上溢就降低全局缩放因子。

与 FP16 相比，BF16 混合精度由于指数宽度与 FP32 一致，其典型的梯度下溢概率极低，因此在实践中常采用固定缩放因子（例如 1.0，即无缩放）或简单的静态缩放因子（如 128），而无需动态调整。这简化了训练流程，也是 BF16 受到大模型社区青睐的另一个重要原因。

在 FP8 混合精度时代，损失缩放的理念延伸为“张量级”或“块级”缩放。由于 FP8 的范围和精度都极其有限，单一的全局损失缩放已不足以保证所有层的梯度健康。此时，每个矩阵乘法的输入张量（或张量的一个子块）都配有独立的缩放因子，通过在运行中统计该张量的绝对最大值来确定合适的缩放幅度，确保数据映射到 FP8 的动态范围中。Hopper 的 Transformer Engine 就内置了这一能力，软件栈会根据张量统计自动插入缩放和反缩放操作，对用户透明。

损失缩放的理论已非常成熟，但在实践中，仍有一些微妙细节：缩放因子最好选择 2 的幂次，以保证缩放和还原操作精确无损（只改变指数，不丢失有效位数）。动态缩放算法的超参数（增长间隔、缩减因子等）需要针对模型和硬件微调，但好在默认值通常能在大多数场景下工作良好，这也是混合精度训练能广泛普及的一个前提。

9. 主权重副本与 FP32 参数更新：精度锚点的动力学

在混合精度训练的整个循环中，FP32 主权重副本的存在是保障训练最终精度与 FP32 基线一致的定海神针。这一设计解决了半精度尾数不足导致的参数更新“遗忘”问题，其动力学机制值得深入剖析。

现代优化器（如 Adam、AdamW）的参数更新量 ΔW 通常非常小。假设一个参数当前值为 0.1，梯度为 1e-5，学习率为 1e-4，则参数更新量 ΔW ≈ -1e-9。在 FP16 的表示中，0.1 的近似二进制表示为 0.10009765625，下一个可表示的数约为 0.10015869140625，两者间隔（即 FP16 在此区间的精度）约为 6.1e-5。更新量 -1e-9 远小于这个间隔，如果直接加到 FP16 的权重上，结果将会被舍入回原始值，导致该次更新在数值上完全丢失。当学习率较小或梯度稀疏时，这种情况频繁发生，模型将出现“更新停滞”现象。

FP32 主权重副本的运作方式破解了这一难题。任何一次半精度前向和反向传播完成后，得到的半精度梯度先被还原（除以损失缩放因子）并转换为 FP32。然后，这个 FP32 梯度被送入优化器，优化器基于 FP32 主权重和其内部的高精度状态（Adam 的一阶矩、二阶矩通常也保存在 FP32 中）计算出精确的 FP32 更新量。最后，这个更新量直接作用在 FP32 主权重上。由于 FP32 的精度高达约 7 个十进制有效数字，对于 0.1 附近的更新步长可以精确到 1e-8 以下，确保了即使极微小的更新也能被累积。

比较形象的解释是，FP32 主权重相当于一个“积分器”，可以忠实地累积来自半精度世界的每一次微小贡献，而不会因为精度截断丢失信息。只有当需要下一轮前向传播时，才从 FP32 主权重截断出一份半精度副本供计算使用。这一截断虽然会引入微小的表示误差（FP32 → FP16 的四舍五入），但只要训练损失的 landscape 不是过于病态，这种误差通常不会影响收敛方向，因为它可以视为一种轻微的随机扰动，反而可能帮助模型跳过某些尖锐的极小值。

FP32 优化器状态的存储是混合精度训练显存占用中仍需 FP32 的部分。Adam 类的优化器需要保存每个参数的一阶矩 m 和二阶矩 v，两者通常以 FP32 格式存储，这意味着优化器状态占用的显存是模型参数本身的 8 倍（m 和 v 各 4 字节）。这是混合精度无法进一步压缩的部分，也因此催生了 8-bit 优化器（如 bitsandbytes 的 Adam8bit）的研究，它们在保持 FP32 主权重的同时，将优化器状态量化为 8 位，进一步压缩显存。

此外，FP32 主权重副本的存在还在数值上提供了一种“保护带”。在 FP16 混合精度下，由于尾数短，权重更新时的舍入误差可能累积。FP32 主权重会定期（每个迭代）向下传递自己的精度状态，重置传播中的偏差。研究表明，若无 FP32 主权重，仅使用 FP16 进行完整的训练，即使加损失缩放，模型精度往往会显著劣于 FP32 基线（在 ImageNet 上 Top-1 准确率下降可能超过 1%）。而引入 FP32 主权重后，性能可以与基线持平甚至略有提升（可能由于半精度引入的适度噪声有助于正则化）。

综上所述，主权重副本与高精度参数更新是混合精度训练将数值可靠性从“概率性”提升至“确定性”的关键发明，是连接低精度算术效率与高精度训练完整性的桥梁。

10. 动态与静态损失缩放策略：自动化精度管理的实践

损失缩放的实施策略是混合精度训练从实验室走向工业大规模应用的重要工程细节。根据模型架构、数值格式和硬件特性，产业界形成了静态缩放、动态缩放和自适应缩放三种主要路径。

静态损失缩放是最简单的形式，即在整个训练过程中使用恒定的缩放因子，或按预设的步数阶梯式调整。对于 BF16 训练，由于其动态范围足够大，可以安全地使用静态缩放因子 1.0（等效于不缩放），或设定为 128、1024 等较小常数以防万一。对于 FP16 训练，若模型规模较小、训练超参数稳定，也可以经过几轮试跑后确定一个“安全”的静态 S 值并固定使用。例如，某些 ResNet 类视觉模型使用静态缩放因子 128 即可稳定收敛。静态缩放的优点是实现简单，没有额外的分支判断和同步开销；缺点是缺乏灵活性，当训练进入不同阶段或更换数据集时可能需要手动调整。

动态损失缩放是当前 FP16 混合精度训练的事实标准。其核心是一个自动机，根据梯度上溢的出现与否自动增加或降低 S。一个典型的动态缩放逻辑如上节所述。在 PyTorch 的 torch.cuda.amp.GradScaler 中，默认行为是初始缩放因子 2¹⁶（65536），每 2000 次迭代未出现 inf/NaN 则倍增 S，出现 inf/NaN 则跳过本次更新并将 S 减半。用户还可以调整增长周期、回退因子和增长因子等。动态缩放的健壮性使其成为各类模型的默认选项，但它引入了两个潜在成本：一是检查 inf/NaN 需要遍历梯度张量，略增计算开销（通常可忽略）；二是在分布式训练中，所有 GPU 需要同步上溢标志，增加了通信步骤。不过，现代框架通常通过融合核函数将这一开销降至近乎零。

自适应损失缩放是更高级的变种，它不再依赖简单的“上升/下降”规则，而是维护运行时梯度量级的直方图或统计信息，基于分位数预估最佳缩放因子。例如，计算过去若干步梯度的 99.9% 分位数值，然后设定缩放因子使得该分位数映射到 FP16 最大值的 1/2 以内，这样既留有余量防止上溢，又尽可能大地保护小梯度。NVIDIA 的 APEX 库中曾提供类似功能。这类方法更适合梯度分布变化剧烈的训练场景（如 GAN 训练），能取得更稳定的缩放因子，但恒定计算和存储开销稍高。

在 FP8 训练场景中，缩放策略从全局走向细粒度。Hopper 架构的 FP8 混合精度训练中，Transformer Engine 会动态计算每个 GEMM 操作输入张量的最佳缩放因子。具体做法是：对于权重张量，由于其在整个训练过程中不变（指前向计算时），缩放因子可以预先计算并保存；对于激活和梯度张量，则需在每个迭代中基于实际数据计算块的绝对最大值，并应用缩放，这称为“即时缩放”。这种细粒度缩放能将 FP8 有限的表示区间充分用满，极大提升效率。

选择合适的缩放策略需要结合硬件、模型和精度格式综合考虑。幸运的是，主流框架已将这些策略高度自动化，研究人员通常只需选择精度模式（如 torch.cuda.amp 或 torch.autocast），即可享受到先进的缩放管理，极大地降低了混合精度训练的使用壁垒。

11. 性能评估核心指标体系：从吞吐到 MFU 的全景测量

评估混合精度训练的实际收益，不能仅凭加速比的宣传数字，而应建立一套多维度的指标体系，涵盖吞吐量、显存占用、模型最终精度和硬件效率等关键维度。以下五个核心指标构成了衡量混合精度实施质量的事实标准。

1. 吞吐量加速比（Speedup）
定义为混合精度训练的每秒处理样本数（或每秒消耗 Token 数）与纯 FP32 基线的比值。理想情况下，FP16/BF16 混合精度由于 Tensor Core 的算力优势和带宽节省，理论可达 2× 或更高加速。但在分布式大模型训练中，由于通信瓶颈、数据加载和计算图中的 FP32 高精度操作占比，实际加速比往往略低。根据 MLPerf Training 和各大实验室的公开技术报告，在数百至数千张 GPU 规模的 LLM 训练中，FP16/BF16 混合精度相较于优化充分的 FP32 基线，吞吐加速比通常在 1.6× 至 2.15× 之间。FP8 混合精度则可在此基础上再提升约 30%~40%。

2. 显存占用比
通过将激活值和梯度的存储精度从 FP32 降至 FP16/BF16，这部分显存占用理论减半。在实际大模型训练中，激活值通常占据总显存的 40%~80%，因此混合精度可使总显存需求降至纯 FP32 的 50%~70%。启用 FP8 后，对应线性层的激活和梯度可进一步降至 25%~37.5%。显存的节省直接转化为支持更大的 batch size 或更长的序列长度，这对模型质量和训练效率均有显著正面影响。例如，训练 Llama 3 时，使用 FP8 混合精度使单卡能处理的序列长度翻倍，某些团队因此避免了更耗时的序列并行方案。

3. 模型最终精度差异
这是混合精度训练能否被采用的“一票否决”指标。通常以验证集困惑度（PPL）或下游任务准确率衡量。大规模的权威研究（如 Baziotis 等人 2024 年针对大语言模型 FP16/BF16/FP32 的对比分析）表明，在 NLP 大模型上，BF16 基线与 FP32 基线的最终指标波动在 ±0.1% 以内，无统计学显著差异。计算机视觉模型也有类似结论，甚至一些工作发现 FP16 训练引入的适度噪声对小模型泛化有轻微正面作用。只要训练过程中动态损失缩放或 BF16 使用得当，最终精度损失是可控且几乎可忽略的。这一结论得到了产业界大规模训练的反复验证。

4. 动态损失缩放成功率
这是衡量 FP16 训练稳定性的直接指标。它定义为训练过程中未因梯度上溢而丢弃更新的步数占总步数的百分比。业界共识是，若该比例 低于 90%，则说明动态缩放因子频繁回退，训练存在数值不稳定风险，可能暗中损害收敛。此时应检查缩放初始值、调整策略或考虑迁移到 BF16。在健康的 FP16 训练中，该比例通常达到 95% 以上，甚至长期维持在 100%。

5. 硬件峰值半精度利用率（MFU）
模型 FLOPs 利用率（Model FLOPs Utilization）是衡量硬件算力实际发挥程度的关键指标。计算公式为：实际吞吐下的有效 FLOPs / 硬件理论峰值半精度 FLOPs。在纯 FP32 训练中，由于带宽限制和内核效率问题，MFU 常低于 30%。引入混合精度后，随着 Tensor Core 的深度利用和带宽需求降低，A100 上的 LLM 训练 MFU 可提升至 50% 左右，而 H100 结合 FP8 和 FlashAttention-3 等优化后，MFU 已可突破 60%~70%（来源：Meta 训练 Llama 3 405B 的工程报告，2024）。MFU 是综合性指标，混合精度带来的提升直接反映了端到端系统效率的优化程度。

这些指标应作为一个整体进行跟踪。单一的加速比高可能掩盖了显存上溢或模型精度下降，而单纯追求高 MFU 可能忽略最终精度。优秀的混合精度实施方案应当在这五个维度上均达到产业基准水平，实现效率与精度的最优平衡。

12. 实际产业应用与框架支持：从研究原型到标准化 API

混合精度训练从 2017 年的学术论文演变为当前深度学习框架的标准内置功能，仅用了不到三年时间。这一过程体现了产业对高效大模型训练的迫切需求与框架生态快速成熟的合力。

PyTorch 在 1.6 版本中引入了 torch.cuda.amp 模块，提供自动混合精度（Automatic Mixed Precision, AMP）支持。用户只需在模型前向传播代码外围包裹 torch.cuda.amp.autocast 上下文管理器，并配合 GradScaler 即可完成 FP16 混合精度训练的集成。AMP 会自动识别哪些操作应使用 FP16（如矩阵乘法、卷积），哪些应保持 FP32（如 Softmax、Normalization、Loss），从而在最小代码改动下实现高效混合精度。在 PyTorch 2.0 及以后，torch.compile 和 torch.autocast 进一步提升了自动化程度和性能。针对 BF16，PyTorch 也提供了相应的 dtype 支持，与 AMP 结合使用。

TensorFlow 从 2.4 版本开始，通过 tf.keras.mixed_precision API 提供混合精度。其设计理念与 PyTorch 类似，通过全局策略（Policy）设定计算精度和变量精度，并自动插入损失缩放。TensorFlow 的 XLA 编译器能够进一步优化混合精度计算图，在 TPU 和 GPU 上均能获得良好加速。

NVIDIA APEX 是混合精度训练的早期先锋，提供了更细粒度的控制，如 O1（自动混合精度，部分操作保持 FP32）、O2（除了 BN 和损失外几乎全 FP16）、O3（完全 FP16）等优化级别。AMP 模块的思想很大程度上借鉴了 APEX 的实践。如今 APEX 中的部分高级特性（如多 GPU 通信优化）仍在一些大模型训练框架中使用。

英伟达 Megatron-LM 和 微软 DeepSpeed 等大语言模型训练框架深度集成了混合精度训练。DeepSpeed 的 ZeRO 优化器将模型状态分割到多卡，结合 BF16 混合精度训练，实现了显存和通信的双重优化，是训练数千亿参数模型的主流选择。Megatron-LM 则针对 Transformer 结构对 FP16 和 BF16 做了精细的手工优化，包括自定义的损失缩放和精度转换核函数。这些框架的混合精度支持经过大规模实测检验，可靠性极高。

JAX 和 Flax 生态则从底层提供了强大的自动向量化和精度管理能力。结合 jax.numpy 和 jax.lax 的 precision 参数，用户可以灵活指定计算精度。Google 的 TPU 训练栈几乎全面采用 BF16，损失缩放需求天然消失，训练复杂度进一步降低。

在产业实践中，大规模训练通常遵循“BF16 + FP32 主权重”的配置，免去损失缩放的调参负担。例如，Meta 训练 Llama 2 70B 时就采用了这一组合；而 NVIDIA 在使用 H100 训练 Llama 3 时，则采用了 FP8 + BF16 的多层级混合精度，获取极致的硬件利用率。框架侧正在朝向完全自动化的方向演进：用户只需指定目标精度或硬件型号，框架自动选择最优的张量数据格式、缩放策略