动态稀疏（Dynamic Sparsity）

文档性质：产业链科普页，信息仅供学习参考，不构成任何投资或技术决策建议。 数据口径：除特别标注年份/来源外，部分数据为公开资料整理，可能存在滞后。

一、30 秒速览

一句话定义：动态稀疏是一种”让 AI 芯片在运行时跳过无效计算”的优化技术——不像静态剪枝一刀切，它根据当前输入实时决定哪些神经元/注意力头/矩阵块可以”跳过”，从而降低算力消耗、提升吞吐。

链-芯-核映射：

一句话价值：理论上可将 Transformer 类模型推理吞吐提升 1.5×–2×（NVIDIA Ampere 白皮书，2020），同时将大模型训练通信量降低 40%+（Switch Transformer 论文，Google，2022）。

二、3 分钟深度

2.1 为什么需要”动态”稀疏？

2.2 关键技术分支

动态稀疏
├── 激活稀疏 (Activation Sparsity)
│   ├── ReLU/SiLU 天然零激活
│   └── Top-K 稀疏激活（如 DeepSeek-V2 的 DeepSeekMoE）
├── 注意力稀疏 (Attention Sparsity)
│   ├── 固定模式：Longformer、BigBird
│   └── 动态模式：Routing Transformer、MoA
└── 权重-激活联合稀疏 (Joint Sparsity)
    ├── NVIDIA 2:4 结构化稀疏（硬件原生支持）
    └── 块稀疏（Block Sparse）+ 压缩索引

2.3 产业链速览

[上游]                    [中游]                    [下游]
稀疏算法研究              芯片设计                  大模型训练/推理
├─ 学术论文               ├─ NVIDIA (Ampere+)       ├─ 云厂商 (推理加速)
├─ 稀疏训练框架           ├─ Google (TPU v4/v5)     ├─ 端侧部署 (手机/IoT)
│  (DeepSpeed, FairScale) ├─ 国产芯片厂商           └─ 垂直应用
├─ 稀疏编译器/算子库      │  (华为、寒武纪等)
└─ 稀疏基准测试           └─ AI 芯片创业公司

三、15 分钟专家深入

3.1 技术原理详解

3.1.1 稀疏性的来源与分类

神经网络中的稀疏性有三种主要来源：

关键洞察：在典型 Transformer 模型中，ReLU 激活的零值比例可达 50%–90%（论文 Sparse is Enough，2021；具体比例因模型/层位置而异）。这意味着近一半的矩阵乘法理论上可以跳过。

3.1.2 动态稀疏的核心技术栈

（1）激活稀疏（Activation Sparsity）

• 原理：利用 ReLU/SiLU 激活函数的天然稀疏性，在推理时检测零值激活，跳过对应权重列/行的计算。
• 代表工作：
  • ReLU 优化：NVIDIA Ampere 架构的 2:4 结构化稀疏（每 4 个元素中强制 2 个为零，硬件原生支持零值跳过，理论加速比 2×，实际约 1.5×–1.8×；NVIDIA GTC 2020 公布）
  • Top-K 稀疏激活：DeepSeek-V2 的 DeepSeekMoE 架构（2024），每个 token 仅激活少量 expert，其余 expert 计算完全跳过

（2）注意力稀疏（Attention Sparsity）

• 问题：标准 Self-Attention 的计算复杂度为 O(n²)，长序列场景成为瓶颈。
• 动态方案：
  • Routing Transformer（2020）：基于 k-means 聚类动态路由注意力
  • Mixture of Attention (MoA)（2022）：不同头使用不同稀疏模式，由路由器动态选择
  • Flash Attention（Tri Dao，2022）：虽非严格意义上的稀疏技术，但通过 IO-aware 计算优化，将注意力计算的 GPU HBM 访问大幅减少，与稀疏技术形成互补

（3）MoE（Mixture of Experts）路由稀疏

• 原理：将 FFN 层拆分为多个 expert，每个 token 由路由器动态选择 Top-K 个 expert 计算，其余 expert 静默。
• 代表模型：
  • Switch Transformer（Google，2021）：Top-1 路由，参数量 1.6T，激活参数仅约 1/64
  • Mixtral 8×7B（Mistral AI，2024）：Top-2 路由，总参数 46.7B，激活参数约 12.9B
  • DeepSeek-V3（2024）：671B 总参数，每 token 仅激活 37B

（4）硬件-软件协同设计

3.1.3 性能数据参考

3.2 产业链上下游详析

3.2.1 上游：算法与框架层

3.2.2 中游：芯片与硬件层

（1）国际厂商

（2）中国厂商

⚠️ 注意：国产芯片厂商在公开技术文档中对”动态稀疏”硬件原语的描述较少，上述信息基于截至 2024 年底的公开资料整理，可能存在信息滞后或遗漏。

3.2.3 下游：应用层

3.3 代表公司深度分析

3.3.1 NVIDIA：硬件原生稀疏的推动者

• 关键举措：Ampere 架构（2020）首次引入 2:4 结构化稀疏张量核，要求每 4 个权重元素中恰好 2 个为零，硬件可直接跳过零值计算。
• 生态绑定：TensorRT 推理引擎原生支持 2:4 稀疏权重导入和加速。
• 实际效果：MLPerf Inference 2.1（2021）中，NVIDIA A100 使用 2:4 稀疏后，BERT-large 推理吞吐提升约 1.5×–1.8×。
• 局限：仅支持结构化 2:4 模式，非结构化稀疏仍需软件模拟，效果有限。

3.3.2 Google：系统级稀疏的先行者

• TPU SparseCore（2024 年公布）：在 TPU v5p 中集成专用 SparseCore，针对推荐系统中的稀疏嵌入表（如用户 ID、物品 ID）进行硬件级优化，可将嵌入查找吞吐提升数倍。
• Switch Transformer（2021）：首个突破 1T 参数的稀疏模型，证明 MoE 路由可大幅降低训练成本。
• GShard（2020）：600B 参数 MoE 模型，跨 2048 TPU 训练，展示了稀疏模型的分布式训练范式。

3.3.3 DeepSeek：国产 MoE 稀疏的标杆

• DeepSeek-V2（2024.05）：236B 总参数，每 token 激活 21B，采用 MLA（Multi-head Latent Attention）+ DeepSeekMoE 架构。
• DeepSeek-V3（2024.12）：671B 总参数，每 token 激活 37B，训练成本约 $5.576M（H800 集群，FP8 混合精度），训练时长约 2 个月。
• 意义：证明国产团队在 MoE 稀疏架构设计上具有国际竞争力，且训练成本远低于同量级 Dense 模型。

3.3.4 Cerebras：纯稀疏硬件路线

• WSE-2（2021）：850,000 个核心，每个核心可独立判断是否跳过计算，天然适合稀疏负载。
• WSE-3（2024）：900,000 核心，44GB SRAM，支持动态稀疏无需额外索引开销（SRAM 直接寻址）。
• 定位：面向科研和超大模型训练的垂直场景，商业化规模有限。

3.4 中国进展综述

3.4.1 学术研究

⚠️ 上述为部分代表性工作，完整列表公开资料未见系统性整理。

3.4.2 产业应用

3.4.3 基础设施与工具

3.5 风险与争议

3.5.1 技术风险

3.5.2 产业争议

3.5.3 政策与地缘风险

• 出口管制影响：美国对华 AI 芯片出口管制（2022.10 起，2023.10 更新）限制了 NVIDIA H100/H800 等支持原生稀疏的高端芯片对华销售，国产芯片需自行开发稀疏硬件能力。
• 算力自主可控压力：动态稀疏作为”用更少算力做更多事”的技术路线，对降低对高端芯片依赖有一定战略意义，但短期内难以完全替代硬件升级。

3.5.4 伦理与社会风险

• 模型透明度下降：MoE 的路由机制使模型行为更难解释（“哪个 expert 处理了这个 token”不直观）。
• 资源分配不均：掌握稀疏训练技术和大算力的机构将进一步拉开与小团队的差距。

3.6 未来趋势展望

附录：关键术语速查

免责声明：本文档所有信息均基于公开资料整理，仅供学习参考，不构成任何投资、技术选型或商业决策建议。部分数据可能存在时效性，建议读者结合最新官方文档和论文进行判断。

最后更新：基于截至 2024 年底的公开资料整理