有效算力

3 秒看懂

有效算力 ＝ (每步训练/推理中被模型前向与反向传播实际利用的浮点运算数) ÷ 执行时间。它剔除了理论峰值之外的所有“水分”——通信等待、显存带宽瓶颈、流水线气泡、冗余重计算、调度开销，最终凝结为真正“落袋”的计算能力。对训练而言，有效算力决定模型收敛速度与成本；对推理而言，它直接决定吞吐与延迟能否在预算下达标。

3 分钟产业解释

在大模型竞赛中，采购 GPU 的数量只代表 理论峰值算力，最终产出取决于系统层面的 有效算力。两者之间的差距往往悬殊：一片 GPU 的理论峰值可达上千 TFLOPS，但在千卡/万卡集群的真实训练任务中，由于以下瓶颈：

• 张量并行的 AllReduce 梯度同步 占用大量通信时间，计算单元在此期间空闲；
• 流水线并行引入的 micro‑batch 填充与排空气泡；
• 数据加载、预处理与梯度同步的 I/O 延迟；
• 为省显存而引入的 重计算（Recomputation），消耗算力但对权重更新无额外贡献；
• 内存带宽限制了计算单元获取数据的速度（“内存墙”）；

最终真正用于推进模型收敛的有效 FLOPs，通常仅为理论峰值的 40%–60%（行业公开估算，2024 年以来多个大模型训练复盘数据佐证）。这意味着，同等 GPU 规模下，有效算力高的一方可以用更短时间、更低成本训练出同水平模型。

有效算力因此成为衡量 AI 基础设施效率的 统一等价物，直接映射到 单位有效算力成本下的训练/推理产出，是云厂商、大模型公司和芯片设计者三方博弈的核心指标。

技术原理

核心公式

有效算力 (FLOPs/s) = 模型单步有效 FLOPs / 单步时间

其中：
- 模型单步有效 FLOPs：一次完整前向+反向传播所需的最小理论矩阵乘加运算数
  （排除重计算、梯度累积冗余、计算图外框架开销）
- 单步时间 = 计算时间 + 通信时间 + 流水线气泡 + 软件栈开销

MFU（Model FLOPs Utilization）

MFU = 观测到的实际模型 FLOPs/s ÷ 硬件标称理论峰值 FLOPs/s

需严格区分两个易混淆概念：

• MFU 对整体有效算力负责，分母为理论峰值，已包含通信、气泡、重计算等全部开销，反映端到端硬件利用效率。
• 计算窗内利用率 仅衡量计算单元在工作时段内的饱和程度，不考虑通信等非计算阶段，不能替代 MFU 作为系统评价指标。

在张量并行场景下，单步训练的时间切片可抽象为：

|-- GEMM 计算 --|-- AllReduce 梯度同步 --|-- GEMM 计算 --|-- 重复 --
      ↑                      ↑
   有效算力产出           通信阻塞，计算单元闲置

为提升有效算力，现代训练框架会实行 通信与计算重叠，将梯度同步分片并异步启动，与时序上的下一层计算并行：

|-- 计算 --|-- 计算+通信重叠 --|-- 通信 --|-- 计算 --|

此时通信时间部分被计算“掩盖”，有效算力显著提升。重叠度的极限受制于网络带宽、拓扑及算子编排粒度。

MoE（混合专家）模型的有效算力冲击

MoE 架构引入 All‑to‑All 通信 进行 token 分发与结果合并。该通信模式在高 expert 数量、高 top‑k 时，时间占比可超过 40%（行业公开数据，2024 年多个 MoE 训练报告佐证），导致计算单元大量空转。此时有效算力优化需在路由策略、容量因子和通信拓扑三个维度联合求解。

效率损失的解剖学

一次 GPU 训练迭代的时间切片可细拆为：

有效算力的提升，本质是对上述时间切片中“计算窗”占比与“计算窗内利用率”乘积的最大化。

关键参数

以上参数需在具体模型与硬件组合下联合分析，不可孤立比较。

技术路线

并行策略对有效算力的定性影响

硬件路线定性比较

• GPU（NVIDIA/AMD）：通用性强，CUDA/ROCm 生态成熟，但高 MFU 依赖大量手工工程调优，人力成本高昂。
• TPU（Google）：脉动阵列架构 + 高速 ICI 片间互联，针对 Transformer 类负载 MFU 开箱即用度较高，但通用计算灵活度受限。
• 自研 ASIC（AWS Trainium、华为昇腾等）：可针对本厂主流模型定制数据流以压缩非计算窗，上限高但迁移成本与生态封闭性为硬约束。
• Cerebras/SambaNova 等晶圆级/流式架构：以超大芯片面积和独特数据流调度规避传统通信瓶颈，在特定负载下有效算力极高，但通用软件生态尚在建设期（截至 2025 年 Q1 公开资料未见大规模外部客户生态）。

上游

有效算力的上游涵盖从晶体管到网络拓扑的全链条：

• 芯片 IP 与计算单元：Tensor Core/Matrix Engine 的精度支持、占空比设计、指令调度架构。
• 片内缓存与内存子系统：HBM 位宽、频率、层次化缓存（L1/L2/Register File）容量与带宽，决定计算单元是否挨饿。
• 片间互联（Die‑to‑Die & Chip‑to‑Chip）：NVLink、Infinity Fabric、ICI 的带宽与延迟，是 TP/EP 下 MFU 的生命线。市场规模方面，2024 年全球 AI 芯片互联 IP 市场约 28–35 亿美元（第三方半导体研究机构估算，口径含授权费与设计服务，公开资料未见精确统一数字）。
• 网络设备：InfiniBand 交换机与网卡、RoCE 以太网方案、光模块。2024 年全球 InfiniBand 市场规模约 40–48 亿美元（行业分析报告口径），领头厂商占据绝对份额。
• 服务器与供电散热：液冷渗透率加速（2024 年中国智算中心液冷比例突破 30%，工信部相关报告引用），供电稳定性与芯片降频策略直接关联持续 MFU 水平。

下游

下游使能层是将上游硬件“纸面算力”转化为有效算力的直接执行者：

• 分布式训练框架：PyTorch FSDP、DeepSpeed、Megatron‑LM、Colossal‑AI。其提供的 ZeRO 优化器分阶段、通信‑计算重叠、自动混合精度等，是 MFU 的直接操盘手。
• 编译器与算子库：XLA、TVM、TensorRT、Triton。通过算子融合、访存优化、自动 tiling 提升计算窗内利用率。2024 年 Triton 等开源 DSL 在头部大模型团队中的采用率快速上升（公开技术报告推断，缺乏精确统计）。
• 集群调度与作业管理：Slurm、Volcano、自研调度器。减少碎片化调度和排队等待，提升集群级有效算力产出比。
• 监控与可观测性平台：NVIDIA Nsight、PyTorch Profiler、商业 MLOps 工具，提供 MFU、通信耗时占比、气泡率等实时指标，是有效算力调优的仪表盘。

受益公司

按产业链位置划分（公开信息，截至 2025 年 Q1，不含任何投资评级或股价判断）：

市场规模

由于“有效算力”本身为效率度量而非直接交易标的，市场规模需从关联市场间接量化。以下数字基于 2024–2025 公开行业报告（口径：全球）：

• AI 芯片市场：2024 年全球约 900–1100 亿美元（Gartner/IDC 等口径综合区间），有效算力竞争倒逼架构升级与互联强化，推高客单价。
• AI 服务器市场：2024 年约 320–380 亿美元（IDC 口径），高有效算力方案（液冷+高性能网络+定制主板）占比快速提升。
• AI 网络设备市场：2024 年约 60–75 亿美元（InfiniBand+高速以太网合计，650 Group/Crehan 等引用），增速显著高于传统网络。
• AI 软件与优化工具市场：2024 年约 22–30 亿美元（公开资料未见统一权威统计，综合多项第三方分析的大致区间），含分布式训练框架、编译器、性能分析工具的付费服务与商业授权。

需求端：千亿/万亿参数模型对有效算力的需求增速约 200%–300%/年（以训练总有效 FLOPs 计，Epoch AI 等公开估算），数据表明单靠芯片峰值算力提升已无法满足，有效算力优化打开结构性增值空间。
缺口：高有效算力（MFU>55%）的整集群交付能力目前集中于极少数供应商，市场存在明确供需缺口，驱动自研芯片、CXL 互联、光互联等替代性技术投资——2024 年全球 AI 基础设施软件与新型互联领域风投/产业投资总计超过 80 亿美元（Crunchbase/Pitchbook 公开汇总，口径含早期至成长期）。

玩家对比

以下对比侧重“有效算力”相关的核心能力维度，基于公开产品规格与技术社区反馈（2024–2025 年初）：

注：MFU 数据受模型结构、并行策略、集群规模、测量口径影响极大，上表数字不可直接横向排列，仅供定性参考。

风险

• 技术锁定：有效算力优化高度依赖于特定硬件+软件栈组合（如 CUDA+NVLink+Megatron）。一旦向自研 ASIC 或跨厂商迁移，前期优化积累可能大幅贬值，迁移成本与时间窗口不可低估。
• 边际效益递减：MFU 从 45% 提升至 55% 所需工程投入远小于从 55% 提升至 60%。过度追求高 MFU 可能付出不成比例的人力与基础设施复杂化成本。2024 年部分头部实验室已公开表示“80% 的 MFU 提升来自 20% 的工程量，剩下 20% 需要 80% 的专家时间”（行业公开经验总结，未指向具体公司）。
• 硬件路线不确定性：光电共封装、CXL 池化、3D 堆叠 HBM 等下一代技术标准化仍在演进中（截至 2025 年 3 月，CXL 3.0 大规模商用公开资料未见明确时间表），早期投资存在替代风险。
• 重计算依赖：当前高 MFU 方案常以显存节省换重计算，若未来模型激活量剧烈膨胀，重计算开销可能吃掉全部 MFU 增益。
• 地缘与供应链风险：先进芯片、HBM、光模块核心供应高度集中在少数地区和供应商，贸易规则变化可直接冲击有效算力硬件交付。
• 泡沫化担忧：当“有效算力”成为市场热词，部分厂商可能推出含混定义（如“等效算力”“加速比”等非标准化指标），误导客户决策。公开标准（如 MLPerf）目前覆盖率有限，信息不对称成本较高。

误读纠偏

误读 1：“堆的 GPU 越多，有效算力线性增长”

纠偏：多卡并行引入的通信开销、调度损耗和尾延迟会侵蚀增量。千卡到万卡，MFU 通常显著下降（行业公开复盘显示，部分集群从千卡扩至万卡，MFU 下降 8–15 个百分点）。有效算力增长远低于线性，互联和拓扑成为硬天花板。

误读 2：“MFU 越高越好，其他不重要”

纠偏：高 MFU 仅表示硬件饱和，但若模型架构本身 FLOPs 效率低（过多非矩阵乘运算、碎片化算子），高 MFU 可能投入到低效运算中。评估训练效率，需同时观察 收敛效率（Loss 下降/总有效 FLOPs）。有时为扩大全局批处理或降低显存压力，适度牺牲 MFU 反而加速端到端收敛。

误读 3：“有效算力是硬件厂商单一责任”

纠偏：有效算力是“芯片‑互联‑框架‑算法”的垂直整合结果。算力硬件提供天花板，但 MFU 的提升需要训练框架、编译器、并行策略、甚至模型结构设计者共同协作。单纯指责“芯片不好用”而忽视上层软件适配是常见归因谬误。

最新事件

• DeepSeek‑V3（2024 年 12 月）：公开技术报告披露万卡级 MoE 模型的训练 MFU 和控制通信开销的具体策略，引发业界对有效算力极致优化的新一轮关注。
• NVIDIA Blackwell 发布与交付启动（2024 年中–2025 年初）：第二代 Transformer Engine 及 NVLink 5 宣称进一步降低通信开销，公开资料关注其千卡/万卡 MFU 实测数据（截至 2025 年 3 月，大规模独立测试数据有限）。
• AMD MI300X 大规模集群部署：多朵云宣布 MI300X 实例 GA，社区首批公开 MFU 基准测试开始在技术论坛流传（2025 年 Q1），数据质量不一，可指示性有限。
• CXL 3.0 内存池化原型验证：多家厂商展示基于 CXL 的内存共享方案，旨在缓解大模型推理的 KV‑Cache 带宽瓶颈（2024 年底行业展会公开演示），量产时间表尚未明确。
• UEC（超以太网联盟）规范推进：面向 AI 优化的新型以太网协议进入 1.0 草案，目标为改善 RoCE 在大模型训练中的尾延迟与有效吞吐（2025 年 Q1 公开消息）。
• MLPerf Training 4.1：新增 LLM 训练 benchmark，提供不同硬件/框架组合下 MFU 推导的标准化参照（2024 年 Q4 发布结果）。

跟踪指标

量化追踪有效算力变化，建议持续观察：

• 厂商 MFU 公开披露：大模型公司技术报告、MLPerf 成绩中的可实现 MFU 数字（需记录模型、并行策略、集群规模等口径）。
• AllReduce/All‑to‑All 时长占总迭代时间比例：从训练框架 profiling 工具获取，核心反映通信瓶颈。
• 流水线气泡率与微批配置：框架日志可采集，反映并行策略合理性。
• HBM 带宽利用率：通过 GPU 性能计数器获取，低于 80% 提示严重内存墙。
• KV‑Cache 命中率与推理有效吞吐：推理场景下衡量有效算力的关键代理指标。
• CXL/光互联/新型网络的标准进展与产品落地节奏：前瞻判断通信瓶颈的技术解决方案成熟度。
• 云厂商 AI IaaS 报价是否开始以“有效算力·时”定价：标志市场从“卖硬件”向“卖效率”转型。
• 万卡级以上集群 MFU 下降曲线：公开信息有限，但每次学术/产业报告中的数据点都极为珍贵，揭示规模扩展瓶颈。

信源

• 学术论文与 preprint：Megatron‑LM 系列（NVIDIA）、ZeRO 系列（Microsoft DeepSpeed）、FlashAttention 系列（Dao et al.）、Efficient Large‑Scale Language Model Training on GPU Clusters（Narayanan et al.）、DeepSeek‑V2/V3 技术报告。
• 行业基准与标准：MLPerf Training & Inference 结果页（mlcommons.org）、Epoch AI 的 LLM 算力数据集与趋势分析。
• 芯片/网络厂商公开资料：NVIDIA GPU 性能优化指南与白皮书、AMD ROCm 文档与公开技术博客、Intel Gaudi 与 Google TPU 技术公开页。
• 产业分析：SemiAnalysis（GPU 集群 MFU 与 TCO 估算）、650 Group / Crehan（网络设备市场份额）、IDC/Gartner（AI 芯片与服务器市场口径）、LightCounting（光互联市场）。
• 社区与工程复盘：PyTorch Profiler 官方文档、NVIDIA Nsight Systems 最佳实践、Hugging Face 技术博客中关于大模型训练效率的披露、CNCF/Volcano 等调度器公开案例。

声明：本文所有财务数字均标注对应年份、口径与公开来源；凡标注“公开资料未见”“行业估算”之处，均表示截至 2025 年 Q1 无法查证确切一致的可引数据，不作定量推断与投资依据。本文不构成任何投资建议、买卖推荐或价格预测。