TFLOPS（每秒万亿次浮点运算）

3 秒看懂

TFLOPS（Tera Floating‑Point Operations Per Second，每秒万亿次浮点运算）是衡量计算系统每秒可执行浮点运算次数的核心指标，1 TFLOPS 代表每秒完成 10¹² 次浮点计算。在 AI 大模型时代，它直接决定了模型训练周期与推理服务延迟。

核心要点：

• 多精度定义：TFLOPS 需标注具体精度，AI 训练主流为 FP16/BF16/FP8；推理常涉及 INT8/INT4（常以 TOPS 表示）；科学计算沿用 FP64。同一芯片在不同精度下的 TFLOPS 差异可达数倍。
• 理论峰值与有效吞吐：厂商宣传的“峰值 TFLOPS”仅在无数据搬移开销的理想状态下成立；实际有效 TFLOPS 受制于内存带宽、芯片间互联时延与软件算子映射效率，实际利用率通常在 30%–60% 区间。
• 系统级算力量纲：单卡 TFLOPS 已进入数百级别（FP16/BF16），万卡集群理论总算力进入 ExaFLOPS（每秒百亿亿次）级别。一次千亿参数模型训练消耗的算力总量通常以“ExaFLOPS·天”为计量单位。

3 分钟产业解释

在 AI 产业话语体系中，TFLOPS 是算力的“通用货币”。随着模型参数从 2018 年 BERT‑large 的 3.4 亿膨胀至 2024 年 GPT‑4 量级（公开资料估计达千亿至万亿参数），产研各界对 TFLOPS 的评价已从单一纸面峰值转向多维度系统效能。

衡量指标进化路径：

• 有效 TFLOPS = 峰值 × 利用率。利用率受算子与大算力单元的映射效率、数据搬运开销、多卡或多节点的通信重叠度共同约束。
• 每瓦 TFLOPS（TFLOPS/W） ：数据中心受限于供电容量与散热能力（据 Uptime Institute 2023 年全球数据中心调研，先进算力机柜功率密度已逼近 30–60 kW/架），能效直接决定集群可扩展的上限规模。
• 互联‑TFLOPS 耦合：单节点算力再高，若跨节点通信带宽不足，集群线性加速比将快速衰减。产业内常讨论“每 TFLOPS 应配备多少字节/秒通信带宽”，NVLink、Infinity Fabric 和 PCIe 各代带宽成为定价与方案对比关键。
• 精度组合与动态范围：BF16 通过保留 FP32 的指数位提供更大的动态范围，适合混合精度训练；FP8 推理（E4M3/E5M2 格式）为 2023–2024 年旗舰芯片标配，需搭配量化感知训练与细粒度缩放因子策略以抑制精度损失。

产业演进方向是“异构拆解 TFLOPS”：主芯片提供密集矩阵算力，SmartNIC/DPU 卸载网络与存储协议栈，存内计算（Processing‑in‑Memory）则在特定场景下绕过传统存储墙，三者协同以推迟 Amdahl 定律作用下的系统算力瓶颈。

技术原理

浮点运算与 FMA 指令

现代 AI 算力的本质是乘加器（Fused Multiply‑Add，FMA）单元的阵列化部署。一个 FMA 在一个时钟周期内完成一次浮点乘法与一次浮点加法，硬件层面的计时器将其计为 2 次浮点运算（2 FLOPs）。

理论峰值 TFLOPS 的经验表达为：

峰值 TFLOPS = 2 × 张量核数量 × 单核每周期 FMA 次数 × 时钟频率（GHz）

例如（此为一则规模说明，非具体产品标定）：若一片加速器拥有 512 个张量计算单元、每个单元每周期可完成 256 次 FP16 FMA 操作、运行频率 1.45 GHz，则 FP16 峰值 ≈ 2 × 512 × 256 × 1.45 × 10⁹ = 约 3.80 × 10¹⁴ 次运算/秒 = 380 TFLOPS（FP16）。

Roofline 模型与存储墙

实际应用的计算吞吐受限于 Roofline 模型：当应用的运算强度（Operational Intensity，公式为“浮点运算总量/数据存取字节总量”）低于硬件提供的“转折点”时，实际吞吐完全受内存带宽钳制。

有效 TFLOPS = min(峰值算力， 内存带宽 × 运算强度)

Transformer 类模型中小 batch inference（如单条查询）的运算强度通常低于 1–2 FLOPs/Byte，而多数通用 GPU 的 HBM 带宽与算力转折点位于 5–10 FLOPs/Byte。该场景下芯片虽有数百 TFLOPS 纸面算力，实际吞吐可能仅发挥 15%–30%。

稀疏性驱动的 TFLOPS 增倍

英伟达 Ampere 及后代架构引入结构化稀疏技术（如 2:4 模式）：在权重矩阵中每 4 个值强制保留 2 个非零值，硬件可在读取时预先解码掩码，仅对非零值对发起乘加操作，在同等计算阵列物理规模下实现约 2 倍有效浮点吞吐。该增益需在训练阶段施加正则化约束并配合专用推理软件栈（如 TensorRT 稀疏路径），且可压缩存储空间与带宽需求。

互联拓扑与 TFLOPS 并行效率

千卡至万卡集群中，张量并行（Tensor Parallelism）需在每个 Transformer 层的前向/反向中执行一次 All‑Reduce 或 Reduce‑Scatter，若单步通信耗时大于计算耗时，则计算单元被迫空闲等待，有效 TFLOPS 快速下行。工程解决方法包括：

• 提升节点内互联带宽（如 NVLink‑Switch，据公开资料，英伟达 DGX 系列节点内双向带宽可达 900 GB/s 以上），压缩单次归约时间；
• 将通信与计算重叠（使用 GPU 的拷贝引擎或网络计算卸载）；
• 采用专门通信原语库（如 NCCL）的梯度融合与分层 All‑Reduce 策略，将跨机架的低速链路负载降至最低。

关键参数

评价一块 AI 加速芯片 TFLOPS 能力的核心量化维度：

• 分精度的峰值 TFLOPS：FP64、FP32、FP16、BF16、FP8 各精度下的理论值，厂商通常在规格书列表给出。
• 实测 TFLOPS（有效吞吐） ：通过 MLPerf Training 与 Inference 等公开基准测试获得的实际运算吞吐，通常对比峰值后得到利用率。
• TFLOPS/W：每瓦电功率对应的最高算力。来自公开规格页面（如 2024 年英伟达 H100 SXM 标称 700 W、FP16 约 990 TFLOPS，折算约 1.41 TFLOPS/W；GH200 与 B200 数值待权威第三方验证公开资料未见统一功耗‑算力联合实测条件）。
• TFLOPS/$：硬件采购成本（单位：美元或人民币）折合每 TFLOPS 价格，受供应周期、渠道加价与区域差异影响极大，不适合无时间窗口与地域限定的定量断言。
• 集群线性扩展效率：千卡/万卡级训练，有效总 TFLOPS 除以（单卡实测 TFLOPS × 卡数）。公开报道表明主流云大模型集群的效率约为 50%–70%（来源：Meta 2022 OPT‑175B 训练日志、Google 2023 年 PaLM 技术报告）。
• 存算比（HBM 带宽 / 峰值 FP16 TFLOPS） ：训练通常需要 ≥ 0.005 Byte/FLOP 的存算比，若低于此阈值，则多数计算模式带宽瓶颈严重。

技术路线

注：以上描述基于各技术路线 2024 年行业公共认知，不指向任一具体商用产品与型号。

上游

• 先进制程：TFLOPS 密度的物理基础由晶圆制造工艺决定。3 nm 级制程（台积电，2023 年下半年风险量产至 2024 年规模出货）在同等功耗预算下可集成更多计算单元。美国 2022 年 10 月出口管制及 2023‑2024 年补充条例严格限制高端制程芯片及对应设备的对华流动。
• HBM 及先进封装：HBM2E、HBM3、HBM3E 堆栈提供 TB/s 级显存带宽，几乎是当前高 TFLOPS 芯片的唯一内存方案。封装技术（如台积电 CoWoS‑S/R/L）的产能是 2023–2024 年 AI 芯片供应瓶颈之一。据公开报道，台积电 2024 年计划扩充 CoWoS 产能 2 倍以上，但订单排产仍至 2025 年。
• IP 核与 EDA：张量处理器的核心微架构 IP（如 Arm、Synopsys 等）减少重复设计；后端布局布线、热管理仿真工具直接决定芯片可否在目标频率下实现标的 TFLOPS。

下游

• 云服务商与算力租赁：AWS、Azure、Google Cloud、阿里云、华为云等以“GPU 实例小时”或 AI 算力平台形式将 TFLOPS 作为计量单位售卖。据公开调查（Liftr Insights 2023–2024 年跟踪），云上 GPU 实例按小时报价因地域与合约模式差异极大，投机性租用价与传统预留实例价可差 50% 以上。
• 模型开发商：OpenAI、Google DeepMind、Anthropic 及头部开源实验室（Meta、Mistral 等）在训练规划阶段即估算总 Flops 预算，用以倒推所需芯片数与训练时长。
• 边缘与终端推理：智能手机、ADAS/自动驾驶域控制器需在 5–30 W 功耗包络内提供数十 TFLOPS 的推理算力，需求驱动低精度、专用 NPU 架构与片内存储小型化。

受益公司

• 芯片设计环节：英伟达、AMD（Instinct 系列）、英特尔（Gaudi 系列及 Falcon Shores 路线）。上述公司公开季度营收结构（按 2024 Q2 公开财报）中，数据中心/加速计算分部的增速与 AI 算力订单高度绑定。
• 晶圆及封装环节：台积电（先进制程与 CoWoS 封装）、三星电子（HBM 与制成）、SK 海力士（HBM 全球份额领先，据 TrendForce 2024 H1 估计约 50% 以上）。
• 系统集成与散热：超微、戴尔、HPE 等及液冷方案提供商。液冷渗透率在 2024 年旗舰 AI 集群中快速上升，与高功率密度 TFLOPS 集群同步增长。

注：以上为公司业务陈述，不构成任何投资建议或推荐。具体公司营收占比与订单数据请参阅各司定期报告。

市场规模

• AI 服务器出货量：据 IDC 2024 年 6 月报告预估，2024 年全球 AI 服务器出货量将达约 160–170 万台，其中配置加速器（GPU 及专用 AI 芯片）的 SKU 占据主要价值增量，其系统平均售价高于通用服务器数倍。
• AI 芯片市场总量：Frost & Sullivan 2024 年分析指出，全球 AI 芯片（云端+边缘）市场规模 2023 年约为 450–500 亿美元，预计 2027 年将突破 1000 亿美元，其中的核心驱动要素即为 TFLOPS 总量需求。
• 算力租赁市场：第三方统计（如 Omdia 2023）估算 2023 年主要云供应商共部署超过 200 万颗高性能 GPU 等效算力，以 FP16 BF16 约 300–500 TFLOPS 单芯片折算，总部署算力即达数百 ExaFLOPS 级别。

以上数据均来自第三方公开评级机构的商业估计，具体统计口径（含中国区与海外）对绝对值影响较大，应结合报告原文判断。

玩家对比

注：上述数值来自各厂商截至 2024 年中的产品规格页面或官方技术文档；以稀疏、结构化稀疏标注的 TFLOPS 不可直接与非稀疏标注项对比。中国区出口管制规格的芯片（如 H100 对应中国大陆版本 H800）峰值与互联带宽有所下调，此处引用全球通用版数据作为技术路标，不作为地区供货承诺描述。

风险

• 地缘政治与出口管制：美国 2022 年 10 月 7 日及 2023 年 10 月 17 日更新出口管制规则，对高端 GPU 与专用 AI 芯片施加 TFLOPS/带宽双重阈值限制，限制向部分国家及实体供应高端算力。该政策可能进一步收紧或引发区域供应重构，推高获取高性能 TFLOPS 的直接与间接成本。
• 技术路径断层：HBM 与先进封装产能扩张受阻（如 CoWoS 扩产延期）、微缩停滞（摩尔定律放缓）将导致 TFLOPS 代际提升低于预期；替代性技术（光子计算、存内计算）能否规模量产仍有不确定性。
• 算法革新导致算力需求突变：DeepSeek、Mistral 等团队 2024 年发布的高效小模型、MoE 路由优化、级联剪枝与量化联合技术，证明少 1–2 个数量级的浮点预算也可以逼近大模型性能，可能改写市场对 TFLOPS 总量的长期增长预期。此外，架构从 Transformer 向状态空间模型（如 Mamba）转换，若卷积式或频域加速模式主导，部分现有矩阵库的 TFLOPS 利用范式将不适用。
• 利用率陷阱与有效算力折价：厂商竞争集中于峰值 TFLOPS 数值，而实用中的通信与软件栈短板可能导致 30% 以上“纸面算力”无效，终端用户付出的每美元有效算力远低于宣传预期。

误读纠偏

误读 1：“TFLOPS 高一定等于 AI 性能更强” 内存带宽、显存容量、互连方案以及框架算子优化程度构成“有效吞吐四要素”。两个纸面峰值 FP16 TFLOPS 相差无几的芯片，在同一 Transformer 训练的实测吞吐可能差距 30%–50%（参见 MLPerf Training 2.1‑3.0 多轮榜单）。因此，任何撇开内存子系统与编译器成熟度仅比较 TFLOPS 的做法都是片面的。

误读 2：“MoE 模型总参数直接套用 6·P·D 公式估算总 TFLOPS” MoE 架构只激活部分专家，1.8 T 总参数的模型实际每个 token 激活的参数量可能仅为 60 B 级别，训练浮点预算与推理时延皆由激活参数（Active Parameters）主导。直接用总参数量计算会数倍乃至十数倍高估所需 TFLOPS 规模。

误读 3：“低精度推理一定无损精度，只需看 TFLOPS 数字” FP8/INT8 推理若无混合精度旁路、静态/动态缩放因子调优及量化感知训练，会出现注意力分数漂移、长尾信息丢失等精度问题。此时 TFLOPS 数字虚高，对应的模型评测指标（如准确性、事实一致性）却已不可用。

误读 4：“TOPS 与 TFLOPS 等值” INT8 TOPS 与 FP16/BF16 TFLOPS 在功能、语义与适用场景上有本质区别。硬件宣传中常将二者并列，造成非专业读者直接等值换算。两者关系约为 1 FP16 FLOP ≈ 2 INT8 OPs（理论，因计算单元占用关系不可直接互换）。

最新事件

• 2024 年 6 月台积电 CoWoS 扩产更新：台积电在 2024 年股东会及季度电话会议中指出，2024 年 CoWoS 产能将比 2023 年翻番以上，但直至 2025 年供应或仍偏紧，制约整体 TFLOPS 出货增幅（来源：台积电公开简报）。
• B200 / GB200 发布：英伟达在 2024 年 GTC 上发布基于 Blackwell 架构的 B200 与 GB200 超级芯片，公开宣传峰值 FP4 推理算力达 20 PetaFLOPS（FP8 训练约为前代 2.5 倍）。需注意 FP4 算力与实际模型推理精度的权衡尚无公开的大规模生产级证据，有效吞吐与精度联合表现待 MLPerf 等第三方验证。
• 美国 2024 年出口管制进一步细则：2024 年 3 月后新规对“性能密度”及互联能力标准增加了门槛，直接限制高 TFLOPS 密度与高带宽互连芯片在特定区域及实体的出口，引发国内市场对国产芯片有效 TFLOPS 生态替代的急切讨论。
• 国产芯片路线图公布：多家国产 AI 芯片公司（如华为昇腾、寒武纪、海光信息）在 2023 年下半年至 2024 年上半年通过运营商、大型互联网公司招标拿到批量试用与适配订单，公开招标信息显示部署规模由数百至数千卡不等，公开宣传代次产品 FP16 峰值可达 200–500 TFLOPS 区间（具体代次规格见各司官网），但生态迁移成本与有效利用率仍处检验期。

跟踪指标

• 季度 GPU/加速卡出货量：由 Mercury Research、Jon Peddie Research 按季度发布的 GPU 出货与附加率报告，间接反映 TFLOPS 增量供给。
• 云服务商 GPU 实例丰度：各云平台区域可供 GPU 实例类型、数量及排队时长，直接化 TFLOPS 供需松紧为可感知的服务层指标。
• MLPerf 轮次结果：每轮 Training/Inference 排行榜展示各系统在代表性模型下的吞吐与能效，是用标准化手法还原“有效 TFLOPS”的权威公开来源。
• HBM 颗粒与 CoWoS 封装报价：存储与封装环节涨价信息预示高 TFLOPS 芯片成本与供给方向，机构（如 TrendForce、Counterpoint）按月/季度发布的合约价涨跌为先行指引。
• 公开大规模模型技术报告：OpenAI、Meta、Google DeepMind 等发布的技术报告或博客通常详列训练总 FLOPS、卡数与MFU（模型浮点运算利用率），是体系性校准 TFLOPS 估算经验公式的最新实证材料。
• 政策公报：美国 BIS 规则更新与本土/联盟国产算力促进政策，直接改变不同地区可获取 TFLOPS 的技术上限与采购可行性。

信源

• Jeffrey Dean et al., “The Path to ExaFLOPS and Beyond,” Google AI Blog, 2023.（综述算力需求增长路径与 TPU 效能）
• Kaplan et al., “Scaling Laws for Neural Language Models,” 2020.（揭示模型性能与算力、参数、数据量的幂律关系）
• Pope et al., “Efficient Scaling of Transformer Inference,” 2022.（定义运算强度与内存带宽约束下有效 TFLOPS 的估算方法）
• Meta AI, “OPT: Open Pre‑trained Transformer Language Models,” 2022.（日志公开训练利用率、集群有效吞吐与规模数据）
• MLCommons, MLPerf Training and Inference Results, 2020‑2024.（跨平台可比 TFLOPS 实测与能效排名）
• 各上市企业最新季度财务报告及电话会议纪要（2024 Q1–Q2）：台积电、英伟达、AMD、英特尔、SK 海力士，未经转述不得视作投资建议。
• IDC Worldwide Quarterly Server Tracker, 2024 Q1/Q2（含 AI 服务器细分市场的出货与附加率估算）。
• TrendForce, “HBM Market Analysis and Forecast,” 2024.（HBM 供需、价格趋势与主要供应商份额）。