稀疏 TOPS

1. 3 秒看懂

稀疏 TOPS (Sparse TOPS) 是衡量 AI 加速器在稀疏数据条件下，每秒钟可执行的有效万亿次乘累加（MAC）运算峰值的指标。它揭示芯片架构在遇到大量零值时，能否智能“跳过”无效计算，只对有用数据发力。在同代工艺和功耗条件下，该数值通常是传统密集 TOPS 的 2 倍上下，是衡量算力真实效率和硬件智能化水平的关键标尺。

2. 3 分钟产业解释

传统深度学习加速器无论权重或激活值是否为零，都会执行完整的乘累加，大量算力消耗在“零”的计算上。随着大模型参数迈入千亿级，以及模型剪枝、稀疏激活等稀疏化技术成熟，底层硬件对稀疏性的原生支持成为突破算力墙的必然路径。

产业中的三重价值正在凸显：

1. 能效与 TCO 革命：在推理场景中，通过跳过零值计算，芯片能在同等功耗下提供数倍有效算力，直接转化为数据中心总拥有成本（TCO）的压缩。以 GPU 云实例为例，支持稀疏的芯片可使处理相同推理吞吐的每小时实例价格更低，或在相同成本下吞吐翻倍。
2. 软硬件协同设计的加速器：稀疏 TOPS 的实现依赖芯片级硬支持（典型的如 2:4 结构化稀疏）。这倒逼算法团队在模型设计时就内置稀疏模式，以充分释放硬件潜力，形成“硬件定义算法优化方向、算法放大硬件价值”的正循环。
3. 竞争焦点移位：在密集算力标称值卷到 PFLOPS 级别后，稀疏 TOPS 以及有效稀疏利用率成为区分芯片实际落地效率的核心维度。芯片厂商的技术叙事正从“我能提供多少理论峰值”转向“我能让模型跑得多省、多快”。

3. 技术原理

稀疏计算将传统密集乘累加流水线改造为“检查-选择性计算-累加”的流水线。以芯片广泛支持的 2:4 结构化稀疏为例，在每组连续 4 个元素中，硬件保证最多 2 个为非零值，其余强制为零。

数据表示与压缩
权重或激活值以压缩格式存储，仅保存非零值和对应索引，实际存储量减半。同时附着一个精密的稀疏掩码，指明非零元素在原始向量中的位置。

硬件执行流程（以处理一个 2:4 稀疏向量为例）

1. 掩码解析：稀疏解码器读入掩码 [1,0,0,1]（表示第 1、4 位置非零），生成选择信号。
2. 数据路由：根据选择信号从压缩存储中直接取出非零值 [A, D]，跳过中间为零的 B、C。
3. 选择性乘：控制逻辑指引计算单元仅执行 A × Input1 和 D × Input4，不产生与 B、C 有关的任何运算。
4. 累加输出：将两次乘法结果累加输出，全程无无效计算，计算单元利用率提升。

硬件模块变更
支持稀疏的计算核心需要额外集成稀疏调度器、掩码解码单元和增强型数据路径，但这部分逻辑开销远小于省下的乘法器功耗与面积，因而综合能效提升显著。

理想与实际
理想条件下，2 倍密集算力跃升成立。但在真实模型中，受内存带宽、稀疏模式匹配度和运行时软件开销影响，实际稀疏加速比常落在 1.3× 至 1.8× 之间，需依赖框架、编译器和库的协同才能逼近理论峰值。

4. 关键参数

评估稀疏 TOPS 及其落地效率，建议同时关注以下维度的指标：

• 理论峰值稀疏 TOPS
  厂商公布核心规格时的峰值，通常基于特定数据格式（FP16、INT8、FP8 等）和理想 2:4 结构化稀疏。以 NVIDIA H100 (2022 年发布) 为例，其 FP16 Tensor Core 密集算力为 2 000 TFLOPS，稀疏算力为 4 000 TFLOPS（来源：NVIDIA H100 白皮书）。AMD Instinct MI300X (2023 年发布) 的 FP16 密集算力为 1.3 PFLOPS，稀疏算力 2.6 PFLOPS（来源：AMD MI300X 规格表）。两家的稀疏/密集比值均为 2×。

• 稀疏加速比（实测值）
  在典型模型（如 Llama 2 70B、GPT-3 175B）上的实际吞吐提升比率。行业估算显示，NVIDIA H100 在主流大语言模型推理中，启用 2:4 稀疏后的实际吞吐提升约为 1.3× 至 1.8×（来源：第三方独立测试综述，SemiAnalysis 2023 报告），具体值高度依赖模型与框架优化。

• 支持的稀疏模式灵活性
  除 2:4 外，是否支持更灵活的 N:M 模式（如 4:8 或动态稀疏）决定了芯片对前沿稀疏算法的兼容宽度。目前主力产品仍以 2:4 为主，灵活性相对受限。

• 内存带宽与缓存设计
  稀疏计算虽减少计算量，但会放大对非零值随机访问的带宽敏感度。高带宽内存（如 HBM3、HBM3e）容量和缓存层次对维持稀疏加速比至关重要。

• 软件栈支持度
  框架（PyTorch、TensorFlow）的原生稀疏 API 覆盖、编译器稀疏优化（如 NVIDIA cuSPARSELt、AMD rocSPARSE）的稳定性，决定了开发者能否以最小改造成本将稀疏化模型部署成功。

• 能效比（TOPS/W）
  完成有效计算时的功耗。相同密集算力下，芯片每瓦提供的稀疏 TOPS 越高，其在部署中的性价比优势越显著。

5. 技术路线

稀疏 TOPS 的实现经历了从无到有、从固定模式向灵活适配演进的三阶段：

1. 软件稀疏期（2018 年前）
   稀疏化停留在剪枝算法层面，硬件缺乏原生加速，主要通过 CPU 的通用稀疏矩阵库或 GPU 的密集核硬算，效率低下，无法在大规模推理中产生优势。

2. 硬件标准化引入期（2019—2021）
   业界认识到结构化稀疏的硬件友好性。NVIDIA Ampere 架构（A100, 2020 年）在 Tensor Core 中首次引入 2:4 结构化稀疏支持，将稀疏加速与密集矩阵计算深度耦合，标志着硬件原生稀疏商用化起点。

3. 迭代扩张期（2022 至今）
   NVIDIA Hopper（H100）、Blackwell（B200）持续强化稀疏 Tensor Core，提升时钟频率和内存压缩效率。AMD CDNA 3 架构（MI300 系列）加入对结构化稀疏的硬件支持。英特尔 Gaudi 3 宣称支持稀疏计算，但具体实现细节未完全公开。新兴路线还包括将激活稀疏（如 MoE 专家稀疏）与权重稀疏联合加速，以及面向特定模型（如 Transformer）的专用稀疏引擎。

当前主流技术路线对比：

6. 上游

稀疏 TOPS 的实现依赖多条上游供应链的协同：

• 芯片设计 IP
  提供支持稀疏处理的高效能矩阵乘法 IP 核，包括掩码解码逻辑与压缩数据通路的设计方案。EDA 工具需要能够对稀疏相关的数据流进行时序、功耗验证。

• 制程工艺
  稀疏控制逻辑需要额外晶体管预算。台积电 N4、N5 等先进制程（注：截至 2025 年 N3 仍为 FinFET，N2 将采用纳米片晶体管）为集成精细化稀疏加速单元提供密度和能效基础。先进工艺的进步直接影响稀疏单元可集成的复杂度与频率。

• 先进封装与互连
  稀疏加速器对内存带宽需求高，因此需高带宽内存 (HBM) 及与之匹配的 2.5D/3D 封装技术（CoWoS、EMIB 等）。台积电 CoWoS、英特尔 EMIB 的产能和良率直接影响高端稀疏算力芯片的出货。2024 年 CoWoS 产能紧张一度制约 AI GPU 供给（来源：台积电法人说明会公开信息，口径为台积电高管发言）。

• 高速 SerDes 与网络
  多节点稀疏计算集群需要高速片间互连和网络，确保稀疏张量跨 GPU 并行时通信不成为瓶颈。

7. 下游

下游承接芯片的稀疏能力，形成应用闭环：

• AI 框架与推理引擎
  PyTorch 提供的 torch.sparse 及 torch.sparse.semi_structured、TensorFlow 的模型压缩工具包等，是开发者将稀疏模型转化为硬件加速指令的核心路径。框架对稀疏算子的覆盖度直接决定落地广度。

• 算法与模型开发商
  头部 AI 实验室及企业算法团队研发支持硬件结构化稀疏的训练和微调算法（如 SparseGPT、Wanda）。他们的产出将决定硬件能否拿到大量可直接加速的稀疏模型。

• 云服务与终端推理
  云厂商（AWS、微软 Azure、谷歌云）的稀疏加速实例使开发者可按需调用稀疏推理。端侧与边缘场景中，稀疏 TOPS 对于在功耗和面积受限条件下运行 LLM 或视觉模型至关重要，带动车载、手机等端侧 AI 芯片引入稀疏加速单元。

8. 受益公司

稀疏 TOPS 作为高端 AI 芯片的标配特征，令产业链中的多个环节受益（仅描述技术依赖与受益逻辑，不构成任何投资建议）：

• NVIDIA
  率先在 A100、H100、B200 中推广 2:4 稀疏，CUDA 生态对稀疏 API 支持最完备。在主流大模型推理中，其硬件‑软件协同的稀疏加速能力使得 H100/B200 成为云厂商采购的优先选择，强化其在数据中心 GPU 市场的主导地位。

• AMD
  MI300 系列加入稀疏支持以缩小与 NVIDIA 的效率差距。若能继续缩小 ROCm 稀疏库与 CUDA 的差距，有望获取一部分价格敏感、寻求多供应商策略的云厂商订单。

• 英特尔
  Gaudi 3 及后续 GPU 通过稀疏和网络特性主打性价比，试图在企业私有化部署和混合 AI 领域获取份额。其受益程度取决于 oneAPI 生态的成熟速度。

• AI 芯片初创公司
  如 d‑Matrix、Groq、Tenstorrent 等从架构层面设计更原生的稀疏数据流处理器，部分产品宣称针对 LLM 推理可获得更高稀疏效率。若其产品实现规模部署，将受益于稀疏算力需求爆发。

• 晶圆代工与封装
  先进制程及 CoWoS 封装产能（主要由台积电提供，英特尔、三星亦有布局）的高利用率与扩张，直接受益于高复杂度稀疏 AI 芯片的强劲需求。产能增长情况可跟踪代工厂资本开支指引。

• 云服务提供商
  拥有自研芯片的云巨头（如 AWS Trainium、Inferentia；谷歌 TPU）可将稀疏优化定制进内部工作负载，降低对外采 GPU 的依赖和运营成本，从而改善云业务的利润率。

9. 市场规模

关于稀疏 TOPS 本身的独立市场统计，公开资料未见专门量化。但可从 AI 加速器整体市场中窥见其渗透规模：

• 数据中心 AI 处理器市场
  据 Omdia 估计，2023 年全球数据中心 AI 处理器市场（含 GPU、FPGA、专用 ASIC）规模约为 280 亿美元（口径为厂商出货额，来源：Omdia 2023 年报告）。其中，具备稀疏 TOPS 计算能力的 NVIDIA Ampere/Hopper 等高端 GPU 占据了绝大部分出货价值。至 2024 年，该市场预估攀升至约 500 亿美元（来源：Omdia 2024 年预测数据），新增产品几乎全部支持结构化稀疏。

• 端侧 AI 芯片
  针对高端智能手机、汽车 ADAS 的 AI 处理器也开始宣传稀疏 TOPS，其市场规模尚在快速扩容期，权威数据未单独分割。以高通骁龙 8 Gen 3、苹果 A17 Pro 等为代表的内建 NPU 中部分已具备稀疏加速特征，但具体 TOPS 计入方式各厂商不一，缺乏统一口径。

• 稀疏相关软件与服务
  围绕稀疏训练、推理优化的工具链和 MLOps 服务市场也在增长，但无直接规模数据。综合判断，稀疏算力在 2024‑2025 年已成为高端 AI 芯片的事实性标配，占数据中心 AI 处理器出货价值量的绝大部分，但具体渗透率金额需等待专业调研机构细项披露。

10. 玩家对比

主要 AI 加速器供应商在稀疏 TOPS 维度上的技术竞争格局如下（截至 2024 年底公开信息）：

注：上述稀疏 TOPS 对比基于各自官方公布的理论峰值。实际有效算力受模型、框架和内存带宽影响差异极大，建议结合第三方独立基准测试（如 MLPerf）查看相应稀疏推理成绩。

11. 风险

推广稀疏 TOPS 及其生态过程中存在多方面风险：

• 精度损失风险
  对已训练好的密集模型进行结构化剪枝，可能牺牲语言理解和生成质量。尤其是在低剪枝耐受能力的场景（如小样本推理、医疗诊断辅助），精度回撤可能成为不可接受的代价。

• 加速比“天花板”
  实测加速比常远低于 2 倍理论值，当模型未使用 2:4 稀疏或内存带宽成为主导瓶颈时，稀疏硬件带来的增益可能微乎其微，导致客户对稀疏特性溢价支付意愿下降。

• 软件生态碎片化
  除 NVIDIA CUDA 外，竞争对手的稀疏库成熟度不足。开发者须投入额外工程资源才能将稀疏模型稳定部署到非 NVIDIA 平台，阻碍了硬件选择的多元化。这一生态壁垒可能导致整个稀疏市场被单家主导，推高采购成本。

• 标准化缺失
  当前缺乏统一的稀疏 TOPS 测试基准和口径。不同厂商发布的稀疏 TOPS 基于不同数据格式、稀疏假设条件，可能误导下游客户对实际性能的判断，进而引发行业信任危机。

• 供应链瓶颈
  高端稀疏 GPU 依赖先进封装与 HBM 产能，而 CoWoS 等产能曾经在 2023‑2024 年极为紧张。一旦供给再次受限，所有依赖高端稀疏芯片的下游部署都可能延期，放缓稀疏技术普及。

• 未来算法方向的不确定性
  若未来出现更优的模型压缩方法（如非结构化稀疏混合动态裁剪）或精度恢复技术，当前的 2:4 固定稀疏硬件可能沦为过渡方案，投资回报面临挑战。

12. 误读纠偏

• 误读一：“稀疏 TOPS 高，实际性能就一定高。”
  纠偏：稀疏 TOPS 是理想稀疏模式下的峰值，实际性能依赖模型与硬件的匹配度。若模型未针对 2:4 稀疏进行训练后剪枝，即使芯片理论稀疏算力翻倍，实际加速可能为零。软件栈的优化和内存带宽同样构成刚性限制，脱离上下文单看 TOPS 数值无实际工程意义。

• 误读二：“稀疏化总是带来正向收益，没有任何代价。”
  纠偏：结构化稀疏会带来一定精度损失，且需要额外的掩码存储和解析开销。在一些内存带宽已经高度饱和的推理场景中，稀疏压缩节省的计算量可能被数据解压延时抵消，造成端到端 latency 改善有限。是否启用稀疏、选择何种稀疏率，是精度、吞吐、延迟、功耗的多目标权衡。

• 误读三：“稀疏 TOPS 是一项独立的全新技术。”
  纠偏：它应被视为成熟矩阵计算单元的一种增强特性。基础矩阵乘法引擎并未改变，只是加入了选择性的计算跳转逻辑。它是芯片架构演进的一条重要分支，而非脱离现有技术基础的全新发明。密集 TOPS 和稀疏 TOPS 是同一芯片的两种工作模式。

• 误读四：“有了稀疏 TOPS，内存带宽就不再重要。”
  纠偏：稀疏计算虽然减少了 MAC 运算量，但仍需从内存系统读取压缩后的非零值和索引，且访问模式更不规则。在大模型推理中，内存带宽往往是决定性瓶颈，稀疏计算若搭配带宽不足的存储系统，其优势将难以兑现。

13. 最新事件

以下为截至 2025 年二季度初的若干重要动态（均基于公开信息，不包含未公开内幕）：

• NVIDIA Blackwell Ultra 发布
  在 2025 年 3 月 GTC 上，NVIDIA 展示 Blackwell Ultra GPU（GB300 等），进一步优化 Tensor Core 稀疏能力，强调在 2:4 稀疏下推理吞吐较 Hopper 有 4‑5 倍提升（来源：NVIDIA 2025 GTC keynote 及新闻稿）。该平台预计 2025 年下半年供货。

• AMD 软件栈加固
  AMD 于 2024 年底至 2025 年初密集更新 ROCm，重点改善稀疏推理的性能和稳定性，并在 PyTorch 中增加对 MI300X 稀疏路径的默认支持，部分二线云厂商宣布验证稀疏实例（来源：AMD 官方博客及合作伙伴新闻）。

• 稀疏算法社区突破
  学界与企业联合提出多种针对 LLM 的“一次性剪枝+少量校准”方案（如 Wanda、SpQR 的变体），在 Llama 2 系列上实现接近无损的 2:4 稀疏化，显著降低客户使用稀疏硬件的门槛。相关论文于 2024‑2025 年在顶会（NeurIPS、ICML）发表，代码已开源。（来源：arXiv 预印本及会议论文集）

• 云厂商稀疏实例上线
  AWS 在其 NVIDIA GPU 实例（如 P5e）中开放稀疏推理指南，指导客户通过 NVIDIA TensorRT-LLM 启用 2:4 稀疏，以更低价格提供更高有效吞吐。谷歌云也预告在其自研 TPU v5e 中加入对稀疏推理的增强支持。

14. 跟踪指标

持续监测稀疏 TOPS 技术与产业落地的进展，可以从以下指标切入：

• 芯片新品稀疏规格
  跟踪 NVIDIA、AMD、英特尔等新品发布时密集/稀疏 TOPS 数据，以及支持的稀疏模式变化。尤其是非 2:4 模式或动态稀疏的引入。

• MLPerf 推理稀疏赛道成绩
  在 MLCommons 组织的 MLPerf Inference 基准中，观察提交系统在稀疏模型上的性能与能效表现，反映真实软硬件协同水平。

• 大模型框架稀疏算子覆盖率
  跟踪 PyTorch、TensorFlow、vLLM、SGLang 等主流框架/库对稀疏矩阵乘法、稀疏注意力等算子的原生支持进展和默认启用情况。

• 云厂商稀疏实例可获得性
  监测 AWS、Azure、GCP 是否推出标注“支持稀疏加速”的计算实例类型，以及其性价比定位。这可反映企业级市场接受度。

• 产业报告出货结构
  关注 Mercury Research、JPR 等机构关于独显/数据中心 GPU 出货的份额数据，判断支持稀疏的新一代产品在总出货中的渗透比例。

• 开源模型稀疏化的质量
  主流开源 LLM（如 Llama 3、Mistral、DeepSeek）发布时，是否提供即用的 2:4 稀疏版 checkpoint 及精度报告，这是生态成熟度的重要信号。

15. 信源

• NVIDIA Ampere Architecture White Paper；NVIDIA H100 Tensor Core GPU Architecture White Paper；NVIDIA Blackwell Architecture Technical Brief – 均来自 NVIDIA 官网技术资源区
• AMD Instinct MI300X Datasheet 及 CDNA 3 Architecture 公开技术摘要 – AMD 官网
• Intel Gaudi 3 AI Accelerator White Paper – Intel 官网
• Omdia, “Data Center AI Processors Market Tracker – 2023/2024” – Omdia 订阅报告
• SemiAnalysis, “AI Accelerator Architecture Deep Dive” 系列 (2023‑2024) – SemiAnalysis.com
• MLCommons, MLPerf Inference Results – mlcommons.org
• Frantar et al., “SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot,” ICML 2023 & 后续相关论文 – arXiv 预印本
• PyTorch 官方文档, torch.sparse 及 torch.sparse.semi_structured 部分 – pytorch.org
• 台积电、英特尔先进封装相关法人说明会公开简报 (2024‑2025)
• AWS、谷歌云官方博客中关于稀疏推理实例的发布公告 (2024‑2025)