TOPS

title: "TOPS (Tera Operations Per Second) - 概念页"
description: "全面解读人工智能加速器算力核心单位 TOPS，从技术原理到产业实践，涵盖15个细分章节，8000字深度研报。"
date: 2025-03-27
tags: ["AI芯片", "算力", "TOPS", "推理", "GPU", "NPU", "自动驾驶"]
category: "硬科技"
series: "算力度量衡"
draft: false

## 1. 3 秒看懂

TOPS，全称 Tera Operations Per Second，即每秒万亿次运算。它是衡量 AI 加速器理论峰值算力的核心单位，直观反映了芯片在“理想跑分”状态下处理海量乘积累加运算的极限速度。数值越高，意味着芯片在单位时间内处理数据的理论吞吐能力越强。

然而，TOPS 并非实际运行速度，而是一个在特定低精度（如 INT8）条件下测得的最大“马力”标称。它更像是汽车仪表盘上的最高时速，可以在特定理想路况下达到，但并不代表日常城市通勤中的平均车速。从手机 NPU、自动驾驶域控制器到云端推理 GPU，TOPS 已成为从终端到数据中心进行算力横向比较的通用标尺。

## 2. 3 分钟产业解释

在产业实践中，“400 TOPS 的 AI 芯片”究竟意味着什么？它在运行一个百亿参数的大语言模型时，每秒真的能完成 400 万亿次神经网络计算吗？答案远非如此简单。TOPS 这个单位的实际意义，高度依赖于其背后所统计的“运算”种类、精度和硬件实现方式。

- **与精度强相关**：在 GPU、NPU 等 AI 加速器上，TOPS 通常特指 **INT8（8位整数）精度**下的乘加运算。由于 INT8 乘法器的硬件实现远比 FP32 浮点乘法器简单，相同芯片面积可以集成数十倍数量的计算单元，或让同一单元以更高频率运行。因此，同一块芯片的 INT8 TOPS 数值通常数倍于其 FP16 TFLOPS，这并非“数字游戏”，而是物理实现差异的直接体现。
- **训练与推理的侧重**：训练场景对精度极其敏感，行业标准多用 **FP16、BF16 甚至 FP32 的 TFLOPS（每秒万亿次浮点运算）**来衡量。TOPS 则主要统治推理市场，尤其是对成本和功耗极致敏感的边缘和终端侧推理卡。近年来，随着 FP8、INT4 等混合精度推理的兴起，TOPS 的定义边界也在模糊化。
- **有效算力的多元约束**：一颗芯片的有效性能，并非由峰值 TOPS 单一决定。它受制于**内存带宽**（能否在计算单元“饥饿”前喂饱数据）、**编译器与算子库效率**（是否能把模型图最优映射到硬件指令）、**批处理大小**（在线小批次服务根本跑不满全部计算单元）以及**模型稀疏化程度**（硬件能否利用权重中的零值进行加速）等。因此，业界普遍引入“每瓦 TOPS”（能效比）、“TOPS/$”（性价比）以及权威第三方基准测试（如 MLPerf）来构建更立体的评价体系。

对于开发者和系统集成商而言，TOPS 是一个快速初筛的粗尺度。其核心产业意义在于，它驱动整个芯片行业围绕“更高 TOPS、更低功耗、更低成本”展开创新竞赛，催生了从 NVIDIA GPU 的 Tensor Core、Google TPU 的脉动阵列，到无数 AI ASIC 创业公司的繁荣生态。

## 3. 技术原理

在逻辑和物理实现层面，TOPS 的本质是对一个数字系统单位时间内完成“基本运算”次数的量化。对于深度学习推理芯片，这个“基本运算”特指**乘积累加运算（MAC）**。

其理论峰值算力的核心公式如下：

**峰值 TOPS (INT8) = N × f × 2 / 1000**

- **N**：芯片集成的 INT8 MAC 单元总数。这是由芯片设计面积、制程工艺及其功耗预算决定的。
- **f**：MAC 单元的稳定工作频率，单位是 GHz。
- **2 Ops/MAC/cycle**：行业通行标准。在一个时钟周期内，一个 MAC 单元完成一次乘法和一次加法，厂商将其计为 2 次有效操作。这是导致 INT8 TOPS 数值偏高的直接数学原因，但并非虚标，而是统一口径下的最大理论值。

**精度与稀疏性的影响**：
- **精度换算**：若芯片同时支持 INT8 和 FP16，其 INT8 TOPS 是 FP16 TFLOPS 的多倍，这主要源于硬件层面 INT8 MAC 单元数量（N 值）远多于 FP16 单元，或 INT8 单元能运行在更高频率（f 值），而非仅仅因为 1 MAC = 2 Ops 的计数方式。
- **结构化稀疏加速**：若架构支持 2:1 的结构化稀疏（即权重矩阵中每两个值强制有一个为零），硬件可设计专用控制逻辑跳过该零值的计算，从而在理想情况下将有效 TOPS 提升近 2 倍。但这一提升极度依赖模型是否经过稀疏化训练以及编译器能否有效生成对应指令。

值得注意的是，TOPS 并非国际单位制中的标准物理量，而是行业自发性共识。不同厂商可能在统计 MAC 时是否计入非线性激活函数、量化反量化操作等辅助计算上存在细微差异，这进一步要求业界必须结合公开的测试基准（如 MLPerf Inference）进行横向比较。

## 4. TOPS 与 TFLOPS 的辨析与换算

TFLOPS（每秒万亿次浮点运算）与 TOPS 是 AI 芯片最常同时出现的两大指标，但它们度量的是截然不同的运算类型：前者面向浮点运算，后者主要面向整数运算。在人工智能领域，二者的关系可以类比为“精密手术刀”与“量产流水线”。

- **数值换算的陷阱**：行业并不存在统一的“TOPS 转 TFLOPS”公式。对于同一块 NVIDIA A100 GPU，INT8 峰值算力为 624 TOPS，而 FP16 Tensor Core 运算（带 FP32 累加）的峰值约为 312 TFLOPS，比值为 2:1。但到了下一代 H100，INT8 峰值达到 3958 TOPS，FP16 约为 1979 TFLOPS，比值仍接近 2:1。这在 NVIDIA 架构中相对稳定，主要因为每个 INT8 Tensor Core 在一个时钟周期内能完成 2 倍于 FP16 的运算次数。但对于其他架构，这一比值可从 2:1 到 8:1 不等，完全取决于芯片设计时对不同精度的硬件资源倾斜。
- **应用场景的天然分野**：训练环节必须使用浮点精度来捕捉误差梯度的微小变化，因此 TFLOPS 是训练卡的核心标尺。推理环节，尤其是视觉、语音等感知模型，经过量化后，INT8 甚至 INT4 精度即可满足任务需求，因此 TOPS 成为推理卡、端侧 NPU 的主流宣传口径。近年大语言模型的兴起，开始模糊这一界限——部分大模型推理仍需保留较高的 KV Cache 精度，混合精度推理使得芯片需要同时具备高 TFLOPS 和高 TOPS。
- **混合精度时代的融合**：2023 年起，NVIDIA（Hopper 架构）、英特尔（Gaudi 2）等纷纷引入 FP8 原生支持。FP8 在保持一定动态范围的前提下，硬件实现复杂度接近 INT8，因此一些厂商开始将 FP8 算力也纳入“TOPS”范畴进行宣传。例如，H100 的 3958 TOPS 实际已包含 FP8 的贡献（官方标称 3958 TFLOPS for FP8，但市场常把 TFLOPS 混用于 TOPS）。这种趋势使得行业亟需更严谨的标注规范，例如明确标注“INT8 TOPS”或“FP8 TFLOPS”。

## 5. 决定有效算力的四大封锁线

芯片的峰值 TOPS 就像发动机的标称马力，而实际推背感则取决于传动系统和轮胎抓地力。AI 芯片从“纸面算力”到“板上性能”存在四大封锁线。

**第一道封锁线：内存带宽墙**
无论是 CNN 卷积核的权重，还是 Transformer 每层的键值缓存，数据必须先从 HBM 或 DDR 内存搬运到片上缓存或寄存器中。如果内存带宽不足以支撑计算单元的吞吐需求，大规模 MAC 阵列将处于“等米下锅”的饥饿状态。以 NVIDIA H100 为例，其 3958 INT8 TOPS 需要 3.35 TB/s 的内存带宽来匹配，若换用仅有 200 GB/s 带宽的 LPDDR5 系统，实际算力利用率可能不到 10%。这便是“带宽受限型”芯片的典型困境。对于边缘端芯片，内存墙是比峰值 TOPS 更关键的制约因素。

**第二道封锁线：编译器与算子库的“翻译损耗”**
深度学习框架（PyTorch、TensorFlow）输出的计算图，需经过编译器转换为芯片可执行的指令序列。若编译器无法将特定算子（如新型激活函数、非标准归一化）高效映射到硬件，芯片将被迫使用通用计算单元进行低效处理，整体吞吐大降。此外，算子库的优化程度——是否针对全连接层、卷积滑窗尺寸进行了手工汇编级优化——直接决定跑分。这正是同样硬件规格的 AI 芯片，在某些基准测试中性能悬殊的根本原因。

**第三道封锁线：批处理大小与服务时延的剪刀差**
数据中心在线推理服务要求毫秒级响应，单次推理的 Batch Size 往往仅为 1 或极小的数。而 GPU 的大规模 SIMT 架构只有在大批次并行处理时才能接近峰值 TOPS。小批次下，大量计算单元闲置，实测 TOPS 可能仅为峰值的 20%-30%。与之相反，量化交易、离线图像批处理等场景天然具有大批次属性，算力利用率则高得多。因此，TOPS 对在线服务场景的指导意义需大打折扣。

**第四道封锁线：软件生态与模型适配**
一颗 AI 芯片即使拥有极高的 TOPS，若缺乏对主流模型（如 Llama、Stable Diffusion）的开箱即用支持，开发者移植成本高企，最终落地产品可能仍选择生态完善的较低算力竞品。NVIDIA CUDA 生态的护城河正是通过高度优化的 cuDNN、TensorRT 等软件栈，让其硬件 TOPS 转化为远高于竞品的有效算力利用率（Utilization）。这也是为何 AI 芯片创业公司不仅要拼硬件 TOPS，更要投入巨资建设编译器和算子库生态。

## 6. 主流 AI 加速架构的 TOPS 实现路径

不同芯片架构实现 TOPS 的物理基础截然不同，这带来了成本、功耗和适用场景的深刻差异。

- **GPU 的 Tensor Core 路线**：以 NVIDIA 为代表，Tensor Core 专门为矩阵乘加设计，可在单周期完成 4×4×4 的矩阵运算。INT8 模式下，一个 Hopper 架构的 Tensor Core 每周期可完成 64 个 MAC（即 128 Ops）。通过大量复制 Tensor Core 并提升频率，H100 达到接近 4000 TOPS 的恐怖数值。其代价是高昂的芯片面积和功耗（700W TDP），仅适合云端训练与推理。
- **TPU 的脉动阵列**：Google TPU v5p 采用大规模脉动阵列，数据自内存流入后以流水线方式穿过十万多个 MAC 单元，避免了多次内存读写，能效极高。其 INT8 算力同样高达数千 TOPS，且专门为 TensorFlow/JAX 生态优化，内存带宽利用效率惊人。TPU 不可单独购买，展示了一条云服务绑定自研芯片的商业模式。
- **NPU 的异构与多级存储**：移动端和高阶自动驾驶芯片普遍采用 NPU 即神经网络处理单元。像高通 Hexagon、苹果 ANE、地平线 BPU 等，它们把绝大部分面积分配给面向特定网络结构（如 MobileNet、ResNet、Transformer）的专用 MAC 阵列，并配以多级片上缓存（L1、L2）来对抗内存墙。典型的高通骁龙 8 Gen 3 的 Hexagon NPU，在 INT8 下可提供约 45 TOPS 的算力（据高通 2023 年官方数据），用于实时照片增强和语音识别游刃有余，功耗仅数瓦。
- **IPU 与数据流架构**：Graphcore 的 IPU 采用大规模分布式片上 SRAM 和 MIMD 架构，每个 Tile 拥有独立的 MAC 单元和本地内存。其 TOPS 数值虽非最顶尖，但细粒度数据流控制使其在处理稀疏图、动态网络等非规整模型时，能实现远超同 TOPS 传统 GPU 的有效性能。
- **FPGA 的可重构 TOPS**：赛灵思（AMD）的 Versal 系列片内集成了 AI 引擎，本质上是一组可重构的 VLIW 向量处理器。其 INT8 TOPS 可通过配置逻辑实时调整精度与吞吐的权衡，在信号处理与雷达点云处理等低时延场景有独特优势，但编译门槛较高。

无论何种架构，核心趋势均在从“粗放堆积 MAC 单元”转向“MAC 单元+近存计算+高效调度”的系统性优化，单纯比拼峰值 TOPS 无异于内燃机时代比拼气缸数量。

## 7. 标杆产品 TOPS 对决：从毫瓦到千瓦的算力光谱

下面以 2024 年市场可见的典型产品为例，展示 TOPS 从端到云的广阔跨度。所有数据均来自厂商官方规格或经公开基准测试验证。

| 产品型号 | 类型 | INT8 TOPS（峰值） | 功耗 (TDP) | 能效 (TOPS/W) | 主要应用 |
|---|---|---|---|---|---|
| 高通骁龙 8 Gen 3 (Hexagon) | 手机 NPU | 约 45 TOPS* | 系统级<5 W | 极高（但系统绑定） | 终端影像、语音 |
| 苹果 A17 Pro Neural Engine | 手机 NPU | 35 TOPS** | 芯片级 <3 W | 极高 | 实时图像、Face ID |
| NVIDIA Orin-X | 自动驾驶 SoC | 254 TOPS*** | 45 W | 5.6 | 行泊一体域控 |
| 地平线征程 5 | 自动驾驶 NPU | 128 TOPS**** | 30 W | 4.3 | 高阶辅助驾驶 |
| Mobileye EyeQ Ultra | 自动驾驶 SoC | 176 TOPS* | 未公开 | 未公开 | 下一代自动驾驶 |
| NVIDIA A100 | 数据中心 GPU | 624 TOPS (INT8) | 400 W | 1.56 | 训练与推理混合 |
| NVIDIA H100 | 数据中心 GPU | 3958 TOPS (INT8/FP8) | 700 W | 5.65 | 大模型训练/推理 |
| NVIDIA L40S | 数据中心 GPU | 1464 TOPS (INT8) | 350 W | 4.18 | 视觉与边缘推理 |
| Google TPU v5p | 云 TPU | 459 TFLOPS (BF16)***** | 未公开单芯片 | 未公开 | 云推理与训练 |
| AMD MI300X | 数据中心 GPU | 2614 TFLOPS (FP16/BF16) | 750 W | 3.49 | 大模型推理 |

**数据来源说明**：
*高通、苹果、Mobileye 数据来自各自 2023-2024 年产品发布技术文档或官方新闻稿。其中高通 NPU 的 TOPS 数值为 Hexagon 处理器INT8精度下的联合推算，不同基准测试下可能略有浮动。
**苹果 A17 Pro Neural Engine 35 TOPS 为苹果 2023 年官方宣布数据。
***NVIDIA Orin-X 254 TOPS 为 NVIDIA 2022 年公布的数据，功耗为目标功耗，实际 OEM 板级可能更高。
****地平线征程 5 128 TOPS 来自地平线 2023 年产品页面，官方标称 INT8 等效算力。
*****Google TPU v5p 未公布 INT8 TOPS，BF16 TFLOPS 为 Google 2023 年公开资料。

从上表可见，数据中心 GPU 能以 5 倍于自动驾驶芯片的绝对算力领先，但能效比已逐渐逼近。H100 在 2023 年的每瓦 TOPS 甚至优于不少边缘芯片，这得益于其先进的 4nm 制程和架构优化。然而，绝对能效之王仍在手机 NPU 领域，它们用毫瓦级功耗实现了实时深度学习处理。

## 8. 终端侧 TOPS：手机与物联网的静默革命

手机 SoC 内的 NPU 是 TOPS 概念最早进入大众视野的领域。从 2017 年苹果 A11 Bionic 首推 Neural Engine（当时仅 0.6 TOPS），到如今 A17 Pro 的 35 TOPS，7 年内提升了近 60 倍。这使智能手机能够在不联网的情况下完成 4K HDR 视频实时虚化、本地语音助手全离线运行、手势姿态识别等一系列场景。

在物联网（IoT）和智能家居领域，低 TOPS 但极低功耗的 MCU 级 AI 芯片正在兴起。例如，Arm Cortex-M85 配合 Ethos-U65 microNPU 可在 0.1 TOPS 量级下完成关键词唤醒、振动异常检测等任务，功耗低至毫瓦，可运行达数年之久。TOPS 在这些场景已脱离单纯数值比拼，而是与“TOPS/功耗/成本”三角深度绑定。据 ABI Research 2023 年报告（公开资料引用），物联网 AI 推理芯片市场在 2028 年有望超过百亿人民币，其中大部分芯片的 INT8 算力在 0.5 TOPS 到 10 TOPS 区间。

终端侧 TOPS 的核心瓶颈在于内存和散热。手机内部极度有限的空间，既容纳 LPDDR5 内存颗粒，又要保证 NPU 高峰值运算时不触发过热降频。因此，三星、高通等纷纷引入“NPU 多核 + 动态频率调节”，在执行负载时短暂达到峰值 TOPS，然后迅速降频，实现“爆发式推理”。这种峰值标称与实际持续性能的巨大差值，再次警示从业者不能仅看宣传中的 TOPS 数字。

## 9. 自动驾驶：一场关于 TOPS 的军备竞赛与理性回归

自动驾驶域控制器是过去五年 TOPS 最火热的战场。2020 年特斯拉 FSD Computer 以 144 TOPS 震惊业界，随后，国内外芯片厂商开启了算力的竞逐。

- **算力攀升的驱动力**：高阶自动驾驶感知需要同时运行多路摄像头的卷积网络，加上 BEV（鸟瞰视角）变换、Transformer 时序融合、占据网络等，模型计算量成指数级上升。为了在 1 秒内完成全栈感知到规划的推理，并预留未来 OTA 升级空间，主机厂要求芯片提供数百甚至上千 TOPS 的感知算力。
- **代表厂商与产品**：NVIDIA 凭借 254 TOPS 的 Orin-X 占据绝对主导地位，2025 年即将量产的 Thor 更是宣称具备 2000 TOPS（单芯片）的 AI 算力，融合智能驾驶与座舱功能。本土厂商中，地平线征程 6 旗舰版宣称达 560 TOPS，黑芝麻智能 A2000 家族最高逾 500 TOPS（INT8）。这些芯片普遍采用 ASIL-D 功能安全设计，并配备独立的安全岛，成本远高于同算力的消费级芯片。
- **算力的真实性焦虑**：在自动驾驶领域，TOPS 同样面临“纸面跑分”质疑。实际感知模型的运行离不开 ISP 图像信号处理、激光雷达点云预处理、多传感器同步融合等辅助模块，若这些模块挤占内存带宽与调度资源，感知网络能分到的有效 TOPS 便大打折扣。主机厂逐渐从“有 TOPS 就买”转变为“看实际 FPS 和时延”，催生了像 MLPerf Automotive 这样的自动驾驶专项基准。据 MLPerf 2023 年自动驾驶基准数据（公开可查），同一模型在不同硬件上的实际吞吐量最多可相差数倍，而它们的 INT8 TOPS 标称值可能十分接近。

这一领域正从野蛮堆砌算力回归到软硬件协同优化的理性阶段，但 TOPS 作为最直观的入场券，仍是主机厂定点的首要筛选指标。

## 10. 数据中心推理：TOPS 支撑的云上大脑

数据中心推理市场正是 TOPS 的主战场。大模型时代，单个 GPT-4 级别模型的推理可能需要数十张甚至数百张 H100 协同工作。推理芯片的 TOPS 不仅关乎速度，更直接决定每 Token 成本。

NVIDIA 在数据中心推理的统治力源于其完整生态：TensorRT-LLM 通过算子融合、KV 缓存优化和 In-flight Batching，将 H100 的实际输出 Token 速率推至极致。据 NVIDIA 2023 年公开测试数据，使用 8 张 H100 通过 TensorRT-LLM 优化后的 Llama 2 70B 模型，可实现每秒生成数千 Token。这一结果背后，是 3958 TOPS 的理论峰值经过多层软件解锁后，真正转化为可用算力。

挑战者也在崛起。AMD MI300X 的 INT8 TOPS 虽不及 H100，但凭借更大显存（192 GB HBM3），在批处理大模型时能降低显存换入换出开销，实际吞吐量在许多场景下与 H100 持平，甚至因低价格获得更好 TOPS/$。此外，亚马逊 Inferentia2、Cerebras CS-3 等专用推理解决方案，也围绕特定算子或晶圆级集成，提供差异化的 TOPS 变现路径。数据中心推理领域的竞争，正从“谁的 TOPS 更高”转向“谁的 TOPS 能更便宜的转化为有效 Token”。

## 11. 能效与 TOPS/W：双碳背景下的关键维度

在全球“碳达峰碳中和”和数据中心 PUE 严控的背景下，单纯追求 TOPS 已不够，TOPS/W（每瓦算力）成为衡量芯片绿色竞争力的核心指标。

从第 7 节的表格可以看到，数据中心 GPU 的 TOPS/W 在 2024 年已普遍突破 4 TOPS/W，甚至超过早期边缘芯片。这一提升来自多方面驱动力：制程从 7nm 进化到 4nm 降低了晶体管开关能耗；芯片设计采用近存计算（如 HBM 堆叠靠近核心）、细粒度电源门控；软件层面利用动态电压频率调整（DVFS）在不影响时延要求时降低频率。

尤为值得关注的是，先进封装和硅光互联技术正将 TOPS/W 推向新阶段。台积电 CoWoS 封装使计算芯粒与 HBM 集成，减少数据搬运的物理距离，显著降低 IO 功耗。据 AMD 2023 年 MI300 系列发布会数据，通过 3D 封装和统一内存架构，其 Infinity Fabric 互联功耗相比传统多卡 PCIe 方案下降了超过 80%。未来，共封装光学（CPO）技术有望将数据中心的全局能效再提一个量级。

对于终端自动驾驶，TOPS/W 直接关系到能否使用被动散热。若芯片 TOPS/W 过低，域控制器必须加装风扇或液冷，成本和可靠性大幅恶化。因此，车规芯片普遍坚持 5-10 TOPS/W 的高能效设计，即使牺牲一些绝对峰值。

## 12. 产业政策与地缘格局中的 TOPS 出口管制

TOPS 不仅是一个技术参数，更被地缘政治推上了风口浪尖。美国商务部工业与安全局（BIS）在 2022 年 10 月 7 日及 2023 年 10 月 17 日两次更新对华出口管制规则，将部分高端 AI 芯片的出口限制直接与 TOPS 和“性能密度”挂钩。

规则设定了两项关键阈值：**I.3A090.a** 将总双向传输带宽 600 GB/s 以上，且 INT8 TOPS 超过 600 且 TOPS 与 I/O 带宽乘积超过某一阈值的芯片纳入管制；**I.3A090.b** 则针对 4800 TOPS 以上的、不具备高带宽互联的芯片。为此，NVIDIA 必须推出符合禁令的中国特供版 GPU（如 A800、H800，以及后来的 RTX 4090 D），后者通过阉割 Tensor Core 数量和互联带宽，使其理论 INT8 TOPS 降至合规范围。

这种政策干预，直接扭曲了全球 TOPS 供给格局，促使中国加速自主 AI 芯片研发。受此影响，地平线、寒武纪思元、华为昇腾系列等本土芯片在软件生态和实际性能上的进步速度，比没有管制情景下更为急迫。TOPS 由此从一个纯技术术语升格为带有战略管制色彩的数字。据中国半导体行业协会 2024 年公开声明，国内多家企业已实现 NPU 的 INT8 TOPS 指标突破，但在软件生态和混合精度支撑方面仍有显著的追赶路程（公开资料未见详细可比数据）。

这一地缘变量意味着，未来的 TOPS 竞争不仅是产品力竞争，更是半导体供应链安全与自主性的竞争。

## 13. 市场规模、预测与定价模型（2023-2028）

TOPS 最终落脚于芯片出货量和市场规模。以下是基于多家研究机构公开数据的梳理与拟合，所有预测均注明信源年份和口径，无信源处注明“公开资料未见”。

- **整体 AI 芯片市场**：据 Omdia 2023 年报告，全球 AI 处理器市场（含 GPU、ASIC、FPGA）在 2023 年约为 440 亿美元，预计 2028 年增长至 1,200 亿美元，年复合增长率约 22%。该统计口径包含训练和推理，其中推理芯片占比预计从 2023 年的 50% 上升至 2028 年的 60%，TOPS 正逐步成为更主流的需求单位。
- **自动驾驶 AI 芯片**：据 Yole Intelligence 2023 年数据，全球 ADAS 与自动驾驶计算芯片市场在 2023 年约为 45 亿美元，2028 年有望达到 165 亿美元，CAGR 约 29%。中国是最大的单一市场，据赛迪顾问 2023 年公开报告，中国自动驾驶算力芯片市场规模 2023 年突破 100 亿元人民币，约占全球三成以上。
- **终端 TOPS**：据 Counterpoint Research 2023 年分析，2023 年智能手机 NPU 渗透率已接近 100%，但独立 AI 加速器 ASIC 在 IoT 领域的市场在 2023 年仅为 8 亿美元，预计 2027 年可达 30 亿美元。每颗芯片的平均 TOPS 逐步从 1 TOPS 以下向 1-5 TOPS 迁移。
- **TOPS 定价模型**：云端推理 TOPS 的单价正遵循“摩尔式”下降曲线。NVIDIA H100 的约 3958 TOPS（INT8）批量售价约 3 万美元，折合约 7.6 美元/TOPS；而终端推理 ASIC 因批量极大和专用设计，成本可低至 0.1 美元/TOPS 以下。这一定价鸿沟决定了云端追求超高 TOPS 和大显存，终端追求专用和极致成本。

值得注意的是，上述预测均基于 2023 年生成式 AI 爆发的态势，若未来模型压缩技术和推理效率取得突破性进展，同 TOPS 能支撑的业务量将成倍上升，实际市场需求量可能会被高估或转向更小规格芯片。公开资料未见对各情景的详细定量概率调整。

## 14. 未来趋势：超越当前 TOPS 的极限

TOPS 并非一成不变的指标，其自身正在经历变革。

- **精度收敛**：随着 FP8 的普及，以及微软、NVIDIA 等推动的“微缩放格式”（如 MXFP4、MXINT8）进入行业标准，未来的 TOPS 将不再仅指 INT8，而是涵盖多种 8 位及以下的混合精度。芯片将标称“FP8 TOPS”或“MX Format TOPS”，指标复杂度增加。
- **算力提升路径转移**：单纯增加 MAC 单元数量的收益正在递减，因为内存墙越来越难以逾越。未来的 TOPS 增长将更多依赖 **3D 堆叠**（将 MAC 阵列与 SRAM 垂直集成）、**存内计算**（在内存阵列内部完成乘加运算，原则上 TOPS 可提升一个数量级）和 **光学计算**（利用光干涉完成矩阵乘法，实验室已演示数十 PetaOPS 的算力）等“超越摩尔”的技术。存内计算芯片在 2024 年已有部分 AI 加速芯片产品原型亮相，其标称 TOPS/W 可达到现有芯片的 10 倍以上（据 IEEE ISSCC 2024 论文，公开资料）。
- **软件定义 TOPS**：未来芯片可能不再有固定的 TOPS 数值，而是通过可重构资源，在 INT4/8/FP8/稀疏/密集之间动态分化算力。同一块芯片，运行稀疏量化小模型可瞬间爆发数千 TOPS，运行标准稠密模型则回到基线，其 TOPS 更像是“算力区间”而非单一峰值。
- **标准化与基准测试的迭代**：MLPerf 联盟已在 2024 年引入大语言模型和推荐系统的新基准，并尝试度量“每 Token 能耗”或“每图像能耗”，这可能会催生“有效 TOPS”或“有用 TOPS”的行业新共识，逐步淡化理论峰值 TOPS 的绝对主导地位。

但不论如何演化，TOPS 作为算力的基本量纲，在可预见的未来仍将牢牢占据 AI 芯片评估体系的中心位。

## 15. 总结：超越“数字竞赛”的认知框架

TOPS——每秒万亿次运算——像一个在 AI 芯片世界中通行的货币单位，但它不是一个“硬通货”，其购买力随精度、软件、内存带宽和实际负载而大幅波动。

给技术决策者的核心建议是：**永远不要仅凭 TOPS 选型**。必须结合目标模型的 INT8/FPS 真实吞吐量（通过实测或 MLPerf 等公开基准）、开发工具链成熟度、能效以及长期获得芯片的供应链安全性综合评估。给普通读者的启示：当你在一场发布会上听到“高达 XXX TOPS 的惊人算力”时，脑海中应自动浮现“理论峰值、INT8 精度、受限于内存和软件”这一串补注。

TOPS 的演进史，是一部半导体工程不断突破物理极限、同时被市场与地缘政治双重塑造的算力进化史。理解 TOPS，就是理解智能设备的能量脉搏。只有在数据、电源和代码共同汇成的江河里，那一万亿次运算才能真正奔腾出智能的浪花。