TOPS/W

1. 3 秒看懂

TOPS/W 是衡量 AI 加速器“单位能耗算力”的核心指标。它量化了芯片在消耗 1 瓦特电力时，能执行多少万亿次（Tera Operations）INT8 精度的整数运算。值越高，代表芯片在既定功耗约束下能提供越高的计算吞吐量，即“干得多、吃得省”。在数据中心电费占比 TCO 日益攀升、边缘设备受电池与热设计严格约束的今天，该指标已取代单纯的 TOPS，成为评估芯片架构、制程工艺与系统设计商业可行性的第一性原理参数。

2. 3 分钟产业解释

TOPS（Tera Operations Per Second，每秒万亿次运算）传统上被用作衡量 AI 芯片峰值算力的标签。但它存在一个致命缺陷：忽略了为达成该算力所需的功耗代价。 TOPS/W 的引入，直接回应了产业的一个根本性问题：每投入 1 瓦的电力预算，能换回多少“推理”或“训练”的产出？

产业优先级重构 对于部署千卡至万卡规模集群的云端推理农场，电力成本通常占全生命周期总体拥有成本 (TCO) 的 30%–50%。在此尺度下，TOPS/W 值小数点后的微小差异，在年度电费账单上会被放大为千万美元级的支出差异，直接决定业务的投资回报率。对于 L4/L5 级自动驾驶域控制器或AI PC等边缘计算产品，散热设计功耗 (TDP) 是无法逾越的物理天花板。TOPS/W 直接划定了，在该热约束下，车辆能否以足够低的延迟跑完复杂的感知-规划-控制模型，且不会因触发热降频而导致性能断崖式下跌。

能效基准线卡位 产业中，能效标杆由不同架构共同确立。以 NVIDIA Ampere 架构的 A100 为例，其 400W TDP 下可提供 624 INT8 TOPS，TOPS/W 约 1.56。作为对照，其下一代 Hopper 架构 H100 (700W TDP) 在稠密模式下可提供 1513 INT8 TOPS，TOPS/W 升至约 2.2，若开启 2:4 结构化稀疏，标称能效更可突破 4.3。与此同时，专用推理芯片如 Habana Gaudi2、高通 Cloud AI 100，在同等或略低的算力区间内，能做到 24 TOPS/W 的标称能效。手机 SoC 中的 NPU 是能效特化的极端，因其功耗预算被限制在毫瓦至数瓦级，凭借近阈值计算等激进设计，苹果A系列、高通骁龙平台的主流产品，其能效常达到 510 TOPS/W 甚至更高，但这是以牺牲绝对算力和大容量内存支持为代价的。（数据来源：NVIDIA 白皮书；各厂商官网披露数据；公开资料未见统一测试标准下的横评数据）

3. 技术原理

TOPS/W 的物理内涵是：单位能量预算下，最大能执行多少次乘加运算 (MAC)。这从根本上受限于半导体物理、电路设计和系统架构三者如何管理电荷的搬运与转换，其核心可抽象为一个经典的 CMOS 动态功耗公式：

P_dyn = α · C · V² · f

其中，α (活动因子)代表数据在电路节点间翻转的概率，它受数据流调度、数值稀疏性的直接影响；C (负载电容)主要由晶体管尺寸和互连金属长度决定，与制程工艺节点紧密相关；V (核心供电电压)和f (时钟频率)通常是正相关的设计变量，电压的降低对功耗有二次方的削减效应。

提升 TOPS/W 必须逐项拆解这一公式，形成系统工程方法：

• 降低 C：制程微缩与定制化的双重红利。 从 FinFET 向 Gate-All-Around (GAA)/Nanosheet 晶体管演进，沟道控制能力增强，动态与静态电容降低。同时，为 AI 加速器开发专有的高密度标准单元库 (例如比通用逻辑库密度高出 15%~20% 的库)，能直接减少关键路径上的物理电容。台积电 N3、N2 等节点提供的正是这种基础增益。

• 压低 V：多电压域与近阈值计算的极限操作。 现代 SoC 普遍采用多电压域 (Multi-Voltage Domain) 和动态电压频率调整 (DVFS) 技术，对非关键路径或空闲模块施加更低的电压或直接关闭 (Power Gating)。更进一步，近阈值计算技术将核心逻辑的供电电压压低至晶体管阈值电压附近，以性能为代价换取极致的能效比，这在手机 NPU 和超低功耗传感 hub 中已广泛应用。

• 抑制 α：结构化稀疏与激活值门控。 减少无效的数据翻转是降低动态功耗的关键。NVIDIA 从 Ampere 架构引入的 2:4 结构化稀疏，在硬件层面约定每 4 个连续权重值中至少有 2 个为零，从而通过编译器优化，在不损失过多精度的前提下，近乎“免费”地将有效算力翻倍，能效相应跃升。此外，在推理过程中，利用 ReLU 等非线性函数产生的大量零值激活，设计细粒度的门控时钟，跳过整组 MAC 运算，直接避免了对应逻辑的动态功耗。

• 内存子系统：能效的隐形主宰。 上述分析仅针对计算单元。然而，在一次 DRAM 访问消耗数百 pJ 能量的物理现实下，数据搬运的功耗往往远超计算本身，这便是“内存墙”的物理基础。系统级 TOPS/W 的提升路径因此聚焦于两个方向：

  1. 拉近数据：采用高带宽存储器 (HBM) 将数据堆叠于芯片旁，其单比特访问能效远优于传统 GDDR 方案；或是使用大量片上 SRAM，尽管面积成本高昂，但访问能效比 DRAM 高出三个数量级。
  2. 存内计算 (Compute in Memory)：在存储单元（如 SRAM、新型非易失性存储器）内部直接完成模拟或数字计算，几乎完全消除了权重数据搬移的能耗费，在实验室条件下已实现数十 TOPS/W 的能效，是突破现有能效天花板的长远路径。

一句话总结：TOPS/W 的本质不是设计一个高效的乘法器阵列，而是设计一个极低熵的数据流系统，使能量主要消耗于必要的计算本身，而非数据的搬运和等待。

4. 关键参数

评估一款芯片的 TOPS/W 不能只看单一维度，必须建立多维度参数体系，以穿透厂商的宣传话术。

1. 标称 TOPS/W：由 (INT8 峰值算力) ÷ (TDP) 计算得出。是来自数据手册的第一层筛选指标，但因其基于永不降频、所有 MAC 单元 100% 满载的假想状态，与实际表现可能有巨大鸿沟。
2. 有效 TOPS/W (Effective TOPS/W)：定义为(在特定网络模型下的实测吞吐量) ÷ (运行该模型时的实测平均板卡功耗)。这是最具场景依赖性的核心参数。例如，一块标称能效为 3 TOPS/W 的芯片，跑 ResNet-50 时可能达到 2.5 的有效值，但跑 GPT-7B 时可能骤降至 0.8。MLPerf Inference Closed Division 提交的功耗配套数据是实现横向可比的权威来源。
3. 带宽-能效比 (Bandwidth Efficiency)：公式为 (内存带宽 GB/s) ÷ (系统功耗 W)。它揭示了每消耗 1 瓦电力能将多少数据写入或读出内存，是判断数据搬运成本的关键。一个典型陷阱是，芯片标称 TOPS 很高，但带宽-能效比极低，导致计算单元在频繁等待数据的过程中空转，形成“高能效幻象”。
4. 动态范围调控能力 (DVFS Efficacy)：考察芯片在不同负载（轻载、重载、待机）间电压/频率切换的档位数量、切换延迟和功耗开销。优秀的 DVFS 设计可以在突发请求之间迅速降至亚阈值状态，显著拉低长时间运行的平均功耗。
5. 稀疏/压缩增益因子 (Sparsity Gain Factor)：指开启硬件支持的稀疏/压缩特性后，有效吞吐量相对于稠密模式的实际提升倍数。该因子高度依赖模型是否经过相应适配。对于未做特定剪枝的稠密网络，该因子可能无限接近于 1.0，但厂商仍会按稀疏算力来标注标称 TOPS/W 值。
6. 系统级能效 (System-Level TOPS/W)：测量节点扩展至整台服务器（含 CPU、网卡、电源模块损耗）。公式为 (多卡集群在特定任务下的总吞吐量) ÷ (整机柜交流侧总功耗)。这是云厂商最终核算成本的依据，通常比单卡标称值低 20%–40%。

5. 技术路线

当前产业主流技术路线围绕如何在“通用灵活性”与“专用能效”的频谱上寻找最优解这一主线展开，形成了层次分明的竞争格局。

注：标称 TOPS/W 为基于各厂商公开峰值算力与 TDP 的估算值，各家测试条件不一，仅作同数量级参考，不得作为横评的唯一依据。

6. 上游

TOPS/W 的实现是一项精密的系统工程，其源头由多个上游环节的技术供给决定。

• EDA 工具与 IP：Synopsys 和 Cadence 提供的低功耗全流程工具链，如静态功耗分析、电压岛定义、多阈值分析与功耗门控插入，是芯片物理设计阶段控制漏电功耗和动态功耗的“手术刀”。同时，ARM Ethos NPU、Imagination PowerVR、Ceva SensPro 等可授权的 AI 加速器 IP 核，预埋了脉动阵列、结构化稀疏等先进能效特性，定义了系统级芯片 (SoC) 的能效基线，降低了芯片设计商的准入门槛但削弱了其差异化空间。
• 制程工艺与制造：台积电 (TSMC) 的 N3E、即将量产的 N2 (Nanosheet) 和远景规划中的 A16 (背面供电网络)，三星 (Samsung) 的 3nm GAA 工艺，其晶体管亚阈值摆幅 (Subthreshold Swing) 和寄生电容的每一丝改进，都是 TOPS/W 增益的核心物理源泉。例如，从 N7 到 N4 节点，在同等功耗下通常可获得约 1.3~1.5 倍的性能增益，或同频下功耗降低 30%~40%。
• 内存与封装技术：计算芯片之外的组件构成了能效的天花板。来自三星、SK 海力士、美光的 HBM3E 内存，其单比特访问能效构成了数据密集型负载功耗的基线。而台积电的 CoWoS、英特尔的 EMIB 等先进 2.5D/3D 封装技术，通过缩短 Die-to-Die 互连距离、增加互连密度并降低寄生电容，直接降低了多芯片系统间数据传输的能耗，其技术进步速率甚至比逻辑制程本身更为关键。

7. 下游

下游用户基于各自业务模型的强约束，将 TOPS/W 作为决策的核心因子进行量化。

• 超大规模云服务商 (Hyperscalers)：Amazon AWS、微软 Azure、谷歌 Cloud 等是 TOPS/W 指标的终极裁判。他们在采购决策中，会将芯片的标称 TOPS/W 内化为“每百万次推理请求的电力成本”的内部模型 (Internal COGS Model)。他们不仅评测单卡，更会对由网络接口卡 (NIC)、电源、散热组成的整个集群进行 PUE 折算，要求最终交付的系统级能效满足严苛的财务模型。对于自研芯片（如 AWS Trainium, Google TPU），其动机正是剥离通用芯片中为能效付费的冗余部分，实现面向自有工作负载的最优“能效-成本”结构。
• 汽车 OEM 与 Tier 1：对于特斯拉、蔚来、Mobileye 等公司，TOPS/W 直接转化为车辆续航里程的取舍。在 L2+ 功能普及后，8-15 年的生命周期使芯片选型极为保守。当前，虽然头部智驾平台已进入“每瓦 10 TOPS”级别的参数竞赛，但车企更关注的是，在一块仅靠风冷散热的域控制器里，有效 TOPS/W 能否支撑至 OTA 更新到车辆报废的那一天。
• 消费电子/物联网终端品牌：苹果、Meta (Ray-Ban Stories 等) 等公司决定了最苛刻的毫瓦级能效需求。在AR眼镜或 TWS 耳机里，电池容量常被限制在 100mWh 以内，散热面积接近零。这要求推理芯片的能效达到数十 TOPS/W 级别，并催生了“模拟存内计算”等前沿硬件技术的需求。此处的 TOPS/W 已不仅是成本问题，而是产品形态在物理上能否成立的门槛。

8. 受益公司

（注：本节仅从产业逻辑出发，客观陈述各公司在 TOPS/W 竞争浪潮中可能获得发展动力的逻辑，不构成任何买卖建议。所有信息均基于公开资料归纳，未见或隐含股价/涨跌预测。）

• 能效方案提供商：NVIDIA Corporation：通过 Hopper 架构引入 Transformer Engine（FP8）和 2:4 结构化稀疏，实现了对标称 TOPS/W 的代际提升。其即将推出的 Blackwell 架构，宣传将进一步提升 LLM 推理能效。公司对高能效互连技术（NVLink, InfiniBand）的垂直整合，使其在系统级能效评估中拥有更完整的故事线。
• 晶圆代工与封装巨头：台积电 (TSMC)：无论下游何种架构胜出，算力对能效的无限追求最终都会落实到对最先进制程和封装技术的需求上。N3, N2 工艺及 CoWoS 系列封装是产品拉高 TOPS/W 边界的物理必需品，其技术领导地位使其成为这一潮流的基础设施级受益者。
• 存算一体等新兴技术开拓者：众多未上市的初创公司在 SRAM/Flash/新型存储存算一体芯片领域，宣称能提供 10-50+ TOPS/W 的样片。如果其产品最终证实具备在边缘侧经济地运行中等规模模型的能力，将对现有市场格局形成冲击。但其商业化成功还需跨越产品验证、良率和软件生态三大门槛，存在重大不确定性。
• 智能终端 SoC 领导者：高通 (Qualcomm) 与 联发科 (MediaTek)：对于 AI PC 和高端手机市场，能将 NPU 能效作为关键差异点整合进 SoC 平台的厂商，将在终端产品定义中获得更大话语权。它们正在将生成式 AI 加速（如 Stable Diffusion on device）作为新一代旗舰平台的营销重点。
• 自研芯片的云巨头：谷歌 (Google)、亚马逊 (Amazon)：它们通过自研 TPU 和 Trainium/Inferentia 芯片，实现了对其庞大内部工作负载从算法到硬件的协同优化。这种全栈控制能力使其有可能在特定任务上实现超越通用芯片的能效比，从而降低服务成本，巩固其在 AI 服务市场的成本优势。

9. 市场规模

（注：以下数据均为基于多家研究机构报告的产业趋势研判与估算，具体年份和精确数字的印证由于检索限制无法提供，仅供参考市场量级和方向。）

• 数据中心推理芯片市场：据第三方产业研究公开数据推测，全球数据中心 AI 推理芯片支出在 2024 年已突破 350 亿美元，并保持高速增长。在此市场中，TOPS/W 是定性竞争力的核心因子。行业估算，若集群平均推理能效每提升 20%，可为全球前 5 大云服务商每年总计节省数十亿美元的电力运营支出。这直接驱动了推理侧芯片的替换周期远短于传统服务器硬件的 3-5 年，可能在 2-3 年内即需引入能效更优的新一代硬件以保障账面回报率。
• 汽车AI芯片市场：根据 2023/2024 年多家机构（如 Yole, IHS Markit）报告的综合趋势，该市场在 2025 年的全球规模预计在 30~50 亿美元之间（因口径包含不同等级 ADAS 域控而变化），并在 2030 年以前维持约 20% 的年复合增长率。TOPS/W 在此市场中的定价权极高，因为任何能效优势都直接减轻了整车热管理系统和电池组设计的沉重负担。
• 边缘及物联网推理市场：该市场当前以手机/NPU 为主体，整体芯片规模已达到百亿美元级。但对 TOPS/W 最极端的需求来自 AR 眼镜、智能传感器等超低功耗新兴设备。该细分领域当前体量尚不足 10 亿美元（预测），但预估具备 40% 以上的年复合增长潜力（预测源于产业分析报告趋势）。此处的商业驱动力不是节能省电费，而是产品化能力——“能效即功能”。

10. 玩家对比

选取不同路线的代表玩家进行多维度对比，可清晰展示各自 TOPS/W 策略的差异性。

注：对比信息均来源于各厂家公开的白皮书、技术博客和官方演讲，功能/性能表现未进行独立实验室验证，仅作定性对比。

11. 风险

• 纸面能效陷阱：标称值虚高与利用率坍塌 最大的风险在于，从“标称 TOPS/W”到“有效 TOPS/W”再到“系统级能效”之间存在两层陡峭的衰减。编译器优化不足、算子库缺失、模型未能适配硬件稀疏特性，都可能导致实际算力利用率低于 40%，让高额投入换来的先进硬件空转耗电，形成“账面富贵”。
• 制程红利的边际递减风险 对于纯粹依靠先进制程迭代提升能效的芯片公司而言，其商业模式存在根本性风险。从 N5 到 N3，能效提升约为 25%~30%，但每进一步，设计和流片成本呈指数级上升。据业内预测，到了更先进的 Angstrom 级别工艺，单位面积晶体管成本的降低空间愈发狭窄，导致单纯依靠制程缩小来提升 TOPS/W 的收益日益微薄，无法维系可持续的商业回报。
• 架构锁定与技术迭代风险 为追求极致能效而设计的高度专用化 ASIC 或固化 IP，将面临其目标模型算法被颠覆的风险。例如，全面针对 ResNet 和 CNN 优化的加速器，在 Transformer 流行后，其能效优势或瞬间崩塌。技术公司押注某一特定架构路线，一旦下一代基础模型的计算需求变化，前期巨额研发投资可能沦为沉没成本。
• 多卡并行的系统损耗风险 在训练和大型模型推理中，MoE 的 All-to-All 通信、张量并行的 AllReduce/ReduceScatter 操作，会使信号在芯片、封装、PCB、连接器、线缆之间长途跋涉。此时，互连功耗可能占据系统总功耗的 20% 甚至更高。系统级 TOPS/W 会远低于单卡标称值。投资大型集群时，如果忽视网络接口卡和交换机的能效，会造成集群理论与实际 TCO 的巨大偏差。

12. 误读纠偏

误读1：“TOPS/W 越高，推理就越快，用户体验越好。” 纠偏：TOPS/W 是吞吐/功耗的比值，和延迟并非线性对应。一个 TOPS/W 极高但内存带宽仅 25.6 GB/s 的芯片，在处理大语言模型时，可能每秒仅吞吐个位数 Token，用户感知延迟极高。同时，在低 batch size 下，大量固定功耗（如时钟树、PLL）无法有效摊薄，会出现“算力空载，功耗不降”的现象，导致有效 TOPS/W 断崖式下跌，芯片远未标称的那般“省电”。

误读2：“支持稀疏计算的 2 倍 TOPS/W 提升是所有模型的免费午餐。” 纠偏：稀疏 TOPS/W 数值是基于硬件能在 2:4 模式下满管线运行的假设。若模型未经过人工剪枝、重新训练且由编译器完成权重重排，提升可能为零。对于 LSTM 等递归网络或某些算子，硬件根本无法开启稀疏加速。厂商将包含稀疏增益的峰值算力标注为 TOPS/W，往往会误导用户高估在通用模型上的真实能效表现。

误读3：“用 FLOPS/W 来衡量 AI 加速器能效就足够了。” 纠偏：不对。AI 推理和部分训练正快速向量化 INT8 和 FP8 精度转移。对于以 Transformer 为代表的当代主流模型，INT8/FP8 下的 TOPS/W 直接关联其计算效率。使用老旧的 FP32 或 FP16 下的 FLOPS/W 评价它们，不仅是拿过时的尺子测量新产品，更会掩盖硬件在低精度张量计算上的架构优势。TOPS/W 已成为比 FLOPS/W 更能反映产业现实的能效标尺。

13. 最新事件

• 台积电确认 N2 及 A16 节点进展 (2024-2025 年)：台积电在其技术论坛披露，N2 工艺预计 2025 年量产，采用 Nanosheet 结构；A16 节点将引入背面供电网络 (BSPDN) 并于 2026 年量产。这标志着能效的物理基础将从纯粹的前端工艺微缩，转向结构创新与供电系统的共同优化，中远期芯片的 TOPS/W 天花板有望被显著推高。
• MLCommons 更新 MLPerf Inference v4.0 基准 (2024 年)：新版基准引入了 LLM 和 Stable Diffusion 等生成式 AI 的评测。在竞争性的封闭赛道中，多家厂商同时提交了功耗数据，使得在 GPT-J 等主流模型下对比不同硬件“有效 TOPS/W”成为可能。从公开结果看，不同架构间真实能效差距的幅度，常与各家的标称差距不符，凸显了脱胎于标准化基准的第三方实测数据的关键性。
• NVIDIA Blackwell 平台发布 (2024 年)：NVIDIA 发布 Blackwell GPU 架构，宣传其第二代 Transformer Engine 支持 FP4/FP6 精度，并引入专用于解压的 RAS Engine，可减少数据搬移能耗。这些新特性旨在从精度降低和数据压缩的新维度提升 LLM 推理的 TOPS/W，产品系统级能效的实证表现仍有待大规模部署后的第三方验证。
• 面向边缘大模型的芯片创业动态：公开融资信息显示，多家旨在用存算一体或 NPU 技术在 5-10W 功耗下运行 7B-13B 参数模型的创业公司，在 2023-2024 年期间获得了新一轮资本加持。这表明资本预期“高能效 + 本地化大模型运行”将在2025年迎来规模商用节点，但存在重大验证风险。

14. 跟踪指标

1. MLPerf 能耗榜单的更新：持续跟踪 MLCommons 每轮提交中，Closed Division 各子项（尤其是 LLM 推理）的 normalized 能效数据（queries/Watt），以此作为比较跨硬件有效 TOPS/W 的核心坐标系。
2. 一线云厂商的服务器设计：追踪 AWS、Azure、Google Cloud 公布的新型推理实例规格。若实例的计算与内存配比发生显著变化，或者大规模采用自研 ASIC 的比例，反映了云厂商对当下通用硬件“能效瓶颈”的内部判断。
3. 制程良率与功耗曲线的爬坡报告：密切关注台积电、三星等对 N2、N3P 及 2nm 级新工艺节点的公开功耗性能报价。如新节点在同等性能下功耗降低比例不及预期，将直接为全行业 TOPS/W 进阶按下减速键。
4. 前沿学术成果转化：关注 ISSCC、VLSI 等电路设计顶会上，关于存内计算、近内存计算芯片的实测能效（TOPS/W）与适用模型规模的新进展，通常会领先产业化 1-2 年。
5. 汽车 OEM 的算力与功耗预算声明：关注各头部车企在新车型发布会上对其自动驾驶域控制器所能支持的“传感器融合 + 模型参数”规模及其对应的功耗预算。车企对于功耗比的接纳程度，是车规级高 TOPS/W 芯片需求爆发的同步信号。

15. 信源

1. NVIDIA H100 Tensor Core GPU Architecture White Paper, NVIDIA Corp. [链接]
2. MLCommons Inference Benchmark Results, https://mlcommons.org/benchmarks/inference-datacenter/ [链接]
3. Hot Chips: A Symposium on High Performance Chips, 历年演讲论文集 (Architectural advancements in TPU, Gaudi, FSD Chip etc.)
4. ISSCC Digests of Technical Papers, 近年来关于存内计算与近阈值计算的 session。 (IEEE)
5. TSMC Technology Roadmap disclosures, 台积电官方技术研讨会公开披露信息。
6. “Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for CNNs”, IEEE JSSC, 2016.
7. 各相关公司（Google, Amazon, Qualcomm, Tesla）的官方技术博客与公开发布会资料。