能效比

3秒看懂

能效比，核心定义是单位能耗完成的有效计算量（通常为 TOPS/W 或 FLOPS/W）。值越高，意味着用一度电跑的 AI 任务越多。当大模型训练单次电费突破百万美元、推理成本逼近盈亏平衡点时，能效比已从技术指标升格为 AI 基础设施的核心经济指标。

3分钟产业解释

AI 算力需求的增长速度远超摩尔定律，但供电与散热能力却面临物理瓶颈。一个风冷机柜的典型供电能力为 20-40kW，而一个满载的 8×H100 节点就能吃掉 10kW 以上。在此背景下，芯片的能效比直接决定：

• 数据中心总拥有成本 (TCO): 电费占数据中心运营成本的 40%-60%，提升能效比即直接降低毛利压力。
• 部署密度上限: 同等功率预算下，能效比越高的芯片允许放入更多算力，提高空间效率。
• 边缘设备的续航与热设计: 手机、自动驾驶域控制器无法承受主动散热，对焦（Joules/Inference）近乎苛刻。

产业侧已形成共识：峰值算力（TOPS）的军备竞赛正在让位于每瓦有效算力的效率竞争。这驱动了从制程工艺、架构设计、数据流调度到系统散热的全栈创新。

15分钟专家深入

能效比的讨论不能停留在单板数字，须在三个层次上逐层深化：

1. 芯片级：裸片能效天花板 由工艺（FinFET/GAA，电容与漏电）和电路设计决定。但裸片跑分（如“100 TOPS/W”）往往在功耗墙拐点（如 0.6V 低压）附近取得，此时性能可能只有峰值的 30%-50%，真正的商业产品无法工作在该点。需关注性能-功耗曲线上的实际工作点。

2. 系统级：从板卡到机架的有效能效 板卡供电（DC-DC 损耗 5-10%）、散热功耗（风扇/液冷泵）、片间通信功耗（SerDes）均会摊薄能效比。HBM 内存的 I/O 功耗已可与计算核功耗分庭抗礼，访存密集模型的系统级能效远低于算术密度极高的矩阵运算。

3. 负载级：稀疏、批处理与潮汐效应 能效比的最终度量是交付的业务量/功耗。推理时，延迟敏感型服务（如在线翻译）需要预留大量算力应对突发，平均利用率低，真实能效远低于跑连续大Batch时的标称值。而利用模型稀疏性、动态电压频率调节（DVFS）等手段可有效提升实际能效。

因此，业界正在建立端到端能效基准（如 MLPerf Power），将总系统功耗（包括内存、互连、冷却）与真实负载吞吐量挂钩，取代单纯的芯片标称 TOPS/W。

技术原理

核心公式

$$ \text{Energy Efficiency} = \frac{\text{Workload Throughput}}{\text{System Power}} $$

工作负载吞吐量在 AI 中常表示为：

• 推理：Token/s 或 Query/s，归一化为等效 MAC（乘加运算）次数；
• 训练：TFLOPS（每秒万亿次浮点运算）有效吞吐，需考虑反向传播和梯度通信。

功耗的物理根源（CMOS 数字电路）： $$ P_{\text{dynamic}} = \alpha \cdot C \cdot V_{\text{dd}}^2 \cdot f $$ $$ P_{\text{static}} = I_{\text{leak}} \cdot V_{\text{dd}} $$

• \alpha：活动因子，与电路翻转率相关；
• C：负载电容，与工艺特征尺寸和连线相关；
• V_{\text{dd}}：供电电压，其对功耗有二次方影响；
• f：工作频率。

提升能效比的杠杆：

1. 降压降频，但需补偿吞吐量： 若 V_{\text{dd}} 下降 10%，动态功耗下降约 19%，但频率也会下降，导致性能下降。通过并行化架构维持吞吐量，即可在能效上获得净收益。这就是张量处理器的核心逻辑——用大规模并行换频率和电压的下压。

2. 降低 \alpha \cdot C：

   • 工艺微缩： FinFET/Nanosheet 改善短沟道效应，等效 C 和漏电；
   • 专用架构： 矩阵乘法算子的数据复用度高，减少寄存器、SRAM 访问翻转次数；
   • 数据流优化： 如 Eyeriss 的 Row-Stationary 数据流，最大化卷积权重和特征图的重用，减少 DRAM 访问（DRAM 访问能耗比片上 SRAM 高 2-3 个数量级）。

3. 降低精度： FP32→BF16→INT8→INT4，每次乘法的比特数减半，能量消耗近乎线性下降。INT8 推理的能效可达到 FP32 的 4 倍以上，这是推理芯片能效突飞猛进的主要手段。

4. 静态功耗抑制： 电源门控、时钟门控、近阈值/亚阈值计算（用于极低功耗传感器芯片）。

以下是以一个典型张量核的能效瀑布图示意（数据流简化版）：

算力密度 ↑
[DRAM] --读权重/激活--> [全局Buffer] --多播--> [PE阵列]
能耗占比：    ~20%                   ~10%           ~70%
标签：        高能耗瓶颈              可优化

控制 数据搬运 是能效设计的核心命题。存内计算（Processing-in-Memory）即试图直接在存储器阵内执行 MAC，消除数据搬运的巨额开销。

技术演进史

• **2012 年以前：**能效比主要在移动处理器（ARM big.LITTLE）中作为续航指标，数据中心看 CPU 的 SPECpower_ssj2008。GPU 计算尚未以能效为卖点。
• **2014-2016 年：**Google TPUv1 发布，推理核心采用 INT8 脉动阵列，论文披露中位数能效比约 2.3 TOPS/W[Google TPU ISCA 2017]；同期 GPU 的 FP32 能效多在 0.05-0.1 TOPS/W 水平。差距拉开序幕。
• **2017-2019 年：**NVIDIA Volta/Turing 引入 Tensor Core，支持 FP16 混合精度训练，能效比大幅提升至 ~0.3 TFLOPS/W (FP16) [行业估算]。苹果 A11 Bionic 加入 Neural Engine，移动端能效竞赛升级。
• **2020-2022 年：**Ampere 架构 A100，台积电 7nm，BF16 训练能效可超 0.5 TFLOPS/W [基于官方功耗推算]；Google TPUv4i 等 ASIC 推理能效达到 ~1 TFLOPS/W [由公开 Blog 数据推算，为估算值]。
• **2023 年至今：**H100 采用 4N（5nm 节点定制增强版）工艺、FP8 支持、Transformer Engine，标称推理能效逼近 2 TFLOPS/W [基于 NVIDIA 公开规格，实际取决于负载]。边缘侧，高通 8 Gen 3 移动平台的 AI 引擎宣称的 INT4 能效达 10+ TOPS/W [厂商宣传数据，未提供独立验证]。走向 3nm GAA（如未来产品）预计可再提升 20-30% 能效（等功率频率提升或同频功耗降低，取决于优化目标）。

整体趋势：每 2-3 年，领先 AI 推理芯片的能效比翻倍，训练芯片因需要更高精度和更大片间互联，提升相对缓慢。

技术路线对比

关键解读：

• ASIC 的能效优势建立在牺牲灵活性的基础上，算法一旦定型，能效极致优化。
• 存算一体目前受限于计算精度（多值模拟）和存储器可靠性，但在特定模型（小域模型）和超低功耗场景优势明显。
• GPU 凭借生态灵活性，其训练能效/通用性无可替代，推理领域正通过 LLM 部署优化（如 FP8、量化）快速追赶 ASIC 差距。

上下游

上游：

• EDA 与 IP 工具: Cadence, Synopsys 的低功耗设计套件，Arm 的 Ethos 系列 NPU IP 等，提供电源管理、动态电压频率调节（DVFS）等基础模块。
• 半导体制造: 台积电（N5,N4,N3 FinFET; N2 Nanosheet 预计 2025+）与三星电子（3nm GAA 先期量产），能效提升的物理根基。
• 先进封装与互连: 台积电 CoWoS（HBM 集成）、Intel EMIB、UCIe 标准，高能效互连是超越单芯片的关键。

中游：

• 芯片设计公司: 聚焦架构创新（脉动阵列、数据流、片上网络）、高带宽内存控制器、低精度算术单元设计。
• 散热与电源方案提供商: 从风冷到液冷（冷板、浸没式），从传统 12V 到 48V 机架供电、Server PSU 效率（钛金级 96%+），降低系统层损耗。

下游：

• 云服务商（CSP）: 微软 Azure、亚马逊 AWS、Google Cloud 等，对机架级电力、冷却成本极其敏感，是能效芯片的最大买家，常通过自研定制芯片锁定能效优势。
• 边缘设备厂商: 智能手机（苹果、高通）、自动驾驶（Tesla FSD, Mobileye）、工业物联网，需要极致焦耳每推断（Joules/Inference）来满足热和续航约束。

关键指标

• TOPS/W 或 FLOPS/W: 在预设的精度（INT8/FP16/BF16/FP8）下，标称峰值吞吐量除以板卡 TDP 或实际测量功耗。常区分“峰值”与“持续”能效。
• Joules/Inference: 用于批处理大小不同的场景更客观。
• 性能功耗比曲线: 在多个频率/电压点测得的吞吐量-功耗关系，可以找到能效比最高点（通常在中低频）和性能最大点。
• 系统 PUE (Power Usage Effectiveness): 数据中心总能耗 / IT 设备能耗。即使芯片能效较高，若 PUE=2，实际有效能效也会腰斩。前沿云厂商 PUE 可达 1.1 以下。
• TCO 等效指标: 如 $/TFLOPS-hour，结合电费、硬件摊销和冷却成本。

供需与市场数据

虽无法给出精确第三方统计，但公认趋势可述：

• AI 训练电力需求激增： 据公开研究，训练一个 GPT-3 级模型能耗约 1,287 MWh[来自多篇论文引用]，相当于一个美国普通家庭上百年的用电量。未来更大模型预计将达数十个 GWh 级。这驱动大规模云客户优先采购高能效产品，因电力配额在部分地区已成部署瓶颈。
• 推理侧长尾效应： 面向数十亿用户的在线推理，累积能耗远超训练。据估算，ChatGPT 每日推理用电可达数百万瓦时量级[行业分析估测]。低至 1% 的能效提升都会带来可观的经济收益。
• 供给侧反应： 各大芯片商正迅速转向 每瓦性能 作为首要卖点。NVIDIA 从 H100 开始强调“Performance per Watt”，苹果 M 系列一直以能效比著称，Google 第五代 TPU 也在宣传中突出能效。

资本支出方向： 超大规模数据中心 2024 年资本支出大幅增长（主要流向 AI 算力），而电力获取成为项目选址的首要考量。能效比高的芯片因此成为缓解电力焦虑的战略资产。

代表公司与资本映射

• 英伟达 (NVIDIA): H100/B100 系列依托先进工艺 + 稀疏结构 + FP8 引擎，维持着通用 AI 训练/推理的能效领导者地位，但面临 ASIC 挑战。
• 博通 (Broadcom) / Marvell: 通过定制 ASIC 设计服务，为谷歌 TPU、亚马逊 Trainium 等提供物理实现，是许多能效冠军背后的设计推手。
• 谷歌 TPU: 第五代 TPUv5 已用于内部大模型训练，推理用 TPUv4i 能效极高，不对外销售但定义 ASIC 路线。
• AMD: MI300X 采用 Chiplet 架构与 HBM3，官方强调在 HPC 和 AI 推理上的能效优势，直接对标 H100。
• 苹果 (Apple): M 系列 Ultra/Extreme 统一内存架构，极大降低数据迁移功耗，在边缘大模型（本地 LLM）推理中展示出优秀 Joules/Token。
• 创业公司聚焦能效：
  • Groq: 以确定性的软件调度改善硬件利用率，宣称推理能效和时延双优。
  • Cerebras: WSE-2 晶圆级引擎，极大数据流零拷贝，单器件达到超高效能比，但应用生态相对封闭。
  • 存内计算赛道: Mythic (模拟存算)、知存科技等，面向 AR/VR、穿戴设备，融资反映对极致能效的需求。

产业映射

1. TCO 成为硬件选型的第一标准： 云厂商采购 AI 算力的决策模型已从“最强芯片”转为“最优$/QPS”。能效比直接决定电费和维护成本，在 5 年生命周期内可占比总成本 60% 以上。能效比高的企业能提供更有竞争力的实例定价，抢份额。

2. “能效-生态”剪刀差： 当前 N 卡凭借 CUDA 生态虽软件能效折损仍具竞争力，但 ASIC 在模型固化场景（如推荐系统、Transformer 大模型推理）的极大能效差（可达数倍）正在推动大规模迁移。互联网巨头自研芯片就是这一剪刀差商业化的典型形态。

3. 电力瓶颈下的供给约束： 全球多地限制新建数据中心的能耗指标，能效比领先的芯片方案成为“电力配额”下的关键技术变量。产业研究可观察能效提升能否转化为可交付算力、单位推理成本下降和数据中心扩容能力。

4. 风险提示： 极端能效 ASIC 面临算法快速变化的风险，一旦基础算子更迭，硬件可能退化。纯粹看能效榜单可能存在“刷分”陷阱，实际负载利用率（Batch Size 1 下的真实表现）要重点验证。

常见误读纠偏

误读 1：“TOPS/W 越高，芯片就一定越省电、运行越快”

纠偏： 能效比是在特定工作点测得的比值，不代表绝对性能和绝对功耗。一个 1 TOPS/W 的芯片可以在 50W 下达到 50 TOPS，另一个 4 TOPS/W 的芯片可能只在 5W 下提供 20 TOPS。如果算力需求超过 20 TOPS，后者无法胜任；如果只需 20 TOPS，后者更省电。必须结合性能目标一起看，不能脱离需求比较能效比。

误读 2：“先进制程（如 3nm）必然带来更高能效比”

纠偏： 制程微缩可以降低每一栅极的电容和电压，但未改善架构则收益有限。例如，在 3nm 上仍用旧架构，只在静态/动态功耗上拿到 25-30% 的改进[典型代际提升]，而优化数据流、提高算术强度（Ops/Byte）的架构改进可能带来倍数级能效跳跃。事实上，成熟制程（如 7nm）加高度定制的 NPU，能效常优于先进制程下通用 CPU/GPU 跑模型。制程是基础，架构是杠杆，卸载 IR/压下的数据搬运才是关键。

学习路径

• 入门：

  • 读物：Sze et al. “Efficient Processing of Deep Neural Networks: A Tutorial and Survey” (Proceedings of the IEEE, 2017) — 经典的 DNN 加速器能效剖析。
  • 在线课程：MIT 6.5930 Hardware Architecture for Deep Learning；Stanford CS217 Hardware Accelerators for Machine Learning。

• 进阶：

  • 论文：Google TPU 系列论文 (ISCA 2017, 等等)；MIT Eyeriss v1/v2 (Row-Stationary 数据流)；NVIDIA TensorRT 与低精度推理优化；Horowitz, “Energy-Efficient Computing for AI and Beyond”。
  • 工具实践：使用 NVIDIA Nsight Compute 分析 GPU kernel 功耗比例；用 TVM 自动调优模型在不同后端上的能效。

• 专家：

  • 深入物理设计：低电压 SRAM 设计、近阈值电路稳定性、光互联/3D 堆叠的能效潜力。
  • 参与 MLPerf Power 基准提交，理解端到端测量方法学。

一句话总结

能效比是 AI 算力从野蛮生长到成本理性时代的分水岭，它把电费单变成了设计图，让每一焦耳都算数。

延伸阅读与来源

• 主要来源说明： 本文撰写时联网检索不可用，所有技术原理基于半导体与计算机架构领域公开常识；具体能效比数字多来自论文、厂商白皮书及第三方评测的行业常见理解，标注为“估算”或“推算”，并非对某具体芯片的精确测量值。
• 推荐阅读：
  • N. P. Jouppi et al., “In-Datacenter Performance Analysis of a Tensor Processing Unit,” ISCA 2017.
  • Y.-H. Chen et al., “Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep CNNs,” JSSC 2017.
  • D. Moloney et al., “MLPerf Inference Benchmark,” arXiv:1911.02549.
  • M. Horowitz, “1.1 Computing’s energy problem (and what we can do about it),” ISSCC 2014.
• 数据基准： MLCommons (MLPerf) 网站，提供带有功耗限制的推理/训练结果，是跟踪行业能效最直接的来源。