激活率（Activation Rate）

3 秒看懂

激活率 = 每次推理实际调用的参数量 ÷ 模型总参数量。

在 MoE（混合专家）大模型时代，一个 671B 总参数的模型，推理时每个 token 可能只激活 37B 参数——激活率约 5.5%。这意味着”大模型不一定贵”，激活率直接决定了推理成本、显存带宽需求和算力消耗。

3 分钟产业解释

为什么激活率突然重要？

2023—2025 年，行业密集转向 MoE（Mixture of Experts）架构。Dense（稠密）模型的激活率恒为 100%，但 MoE 模型通过路由机制，让每个 token 只经过一小部分”专家”子网络。这带来一个核心变量——激活率。

注：以上数字来自各模型发布方的官方技术报告/模型卡。激活参数 = 共享层参数 + 被路由选中的专家参数（不含未被选中的专家）。

产业影响链路

激活率低 → 每 token 推理算力需求低 → 推理成本下降
         → 但总参数量大 → 训练算力需求高、权重存储显存大
         → 推理时权重需驻留 HBM → 带宽瓶颈仍在

核心张力：激活率越低，推理越”便宜”（算力角度），但模型越大，存储和带宽越”贵”。这就是为什么 HBM 容量/带宽成为 MoE 推理的关键瓶颈——你不用计算所有参数，但你得把所有参数都”摆”在显存里（或用高效 offloading 方案）。

15 分钟专家深入

一、激活率的精确含义

在不同语境下，“激活率”至少有三层含义：

1. MoE 全局激活率（最常用）：单次前向传播中，被激活的参数占总参数的比例。
2. 专家级激活率：在 N 个专家中，每个 token 被路由到 K 个，激活率 = K/N。
3. 神经元激活率（Neuron Activation Rate）：某一层中，激活函数输出非零值的神经元比例。在 ReLU 网络中，这通常远低于 100%（存在”死亡 ReLU”现象），影响稀疏计算优化。

当前产业讨论中，含义 1 和 2 是主流，含义 3 更多见于学术研究和推理优化领域。

二、MoE 激活率的计算

对于标准 MoE 层：

设：
  N = 专家总数
  K = 每 token 选中的专家数
  D_shared = 共享层（attention、embedding 等）参数量
  D_expert = 单个专家的参数量
  D_total = D_shared + N × D_expert
  D_active = D_shared + K × D_expert

激活率 = D_active / D_total
       = (D_shared + K × D_expert) / (D_shared + N × D_expert)

关键洞察：

• 当 D_shared 很小时，激活率 ≈ K/N
• 当共享层参数占比大时（如 attention 全共享），激活率会显著高于 K/N
• DeepSeek 系列引入了 共享专家（Shared Expert） 机制，无论路由结果如何，共享专家始终被激活，这会提高激活率但增强模型稳定性

三、激活率与稀疏性的关系

激活率 = 1 - 稀疏度（Sparsity）。业界有时用”稀疏比”来表达同一概念：

稀疏比（Sparsity Ratio）= 1 - 激活率
= 未被激活的参数 / 总参数

高稀疏比（低激活率）意味着：

• ✅ 推理 FLOPs 低
• ✅ 推理延迟可接受（不比同规模 Dense 模型慢太多）
• ❌ 模型文件大、权重加载时间长
• ❌ 推理时 HBM 占用 = 全量参数，不因激活率低而减少
• ❌ 训练时需要 All-to-All 通信分发 token 到不同专家，通信开销大

技术原理

MoE 路由机制与激活率的底层关系

┌─────────────────────────────────────────────────┐
│                  输入 Token x                     │
│                      │                           │
│              ┌───────▼────────┐                  │
│              │  Gate Network  │  ← 轻量线性层     │
│              │  (Router)      │     输出 N 个分数  │
│              └───────┬────────┘                  │
│                      │                           │
│              softmax(scores)                      │
│                      │                           │
│           Top-K 选择 (K <&lt; N)                     │
│                      │                           │
│    ┌─────┬─────┬─────┼─────┬─────┬─────┐        │
│    ▼     ▼     ▼     ▼     ▼     ▼     ▼        │
│  [E0]  [E1]  [E2]  [E3]  [E4] ... [EN-1]       │
│   ✅    ✅    ❌    ❌    ❌         ❌           │
│    │     │                                      │
│    ▼     ▼                                      │
│  y = Σ(gate_score_i × E_i(x)), i ∈ top-K       │
│                                                    │
│  激活的专家: K 个                                   │
│  激活的参数: K × D_expert + D_shared               │
└─────────────────────────────────────────────────┘

关键参数与超参：

负载均衡与激活率的隐含成本

实际激活率 ≠ 理想激活率。路由可能出现负载不均衡（Load Imbalance）：

• 少数”热门”专家被大量 token 选中 → 该专家计算成为瓶颈
• 部分专家几乎不被选中 → 参数浪费，等效激活率更低
• 解决方案：辅助损失（Auxiliary Loss / Load Balancing Loss）、Expert Choice 路由

注意：Megatron-LM 框架中，MoE 的 token 分发使用 All-to-All 通信原语（将 token 路由到不同 GPU 上的专家），这与 Dense 模型的张量并行（AllReduce/ReduceScatter）有本质区别。All-to-All 通信的数据量主要由每 token 激活的专家数 K 决定，与激活率并无直接反比关系，但同步开销不变。

神经元激活率（学术补充）

在使用 ReLU 激活函数的网络中，由于 ReLU 将负值截断为零，前向传播时同一层的输出中往往有 30%—70% 的神经元输出为零 [Glorot et al., 2011; Lu et al., 2019]。

这一”天然稀疏性”启发了：

• 稀疏推理加速
• 动态稀疏计算（只计算非零神经元）
• ReLU → GELU/SiLU 的趋势：现代 LLM 普遍使用 GELU/SiLU，这些激活函数不严格截断为零，神经元激活率更高，稀疏优化空间更小

技术演进史

趋势总结：激活率从早期的 ~25-50% 逐步压低至 ~5%，以换取”用更大总参数量提升模型能力，同时控制推理成本”的红利。

技术路线对比

上下游

上游（激活率依赖什么）

下游（激活率影响什么）

关键指标

供需与市场数据

推理成本经济学

激活率对推理成本的影响是行业关注焦点。以下为定性推算框架 [行业估算]：

Dense 70B 推理成本 ≈ 基准 C

MoE 671B (激活 37B) 推理成本 ≈ 37/70 × C × Overhead_factor
  - Overhead_factor 包含：路由计算开销、All-to-All 通信、
    负载不均衡导致的计算浪费
  - 实际 Overhead_factor 通常在 1.1x ~ 1.5x 之间 [行业估算]
  - 净效果：MoE 推理成本显著低于同等能力的 Dense 模型

对硬件需求的影响

• HBM 需求不变：MoE 模型总参数量大，即使激活率低，权重仍需全量驻留。671B 模型 FP16 需要约 1.34TB HBM，远超单卡容量 → 需要多卡张量并行存权重。
• 计算需求降低：等效 FLOPs 与激活参数量成正比，可使用更少的计算卡（或相同卡获得更高吞吐）。
• 带宽成为真正瓶颈：激活率低意味着算力利用率先触顶（roofline 模型中处于 memory-bound 区域），HBM 带宽成为吞吐上限的关键制约。

这一分析框架基于 roofline 模型和公开的推理性能基准推导，具体数字因部署方案、量化精度、批处理大小而异，属于 [行业估算] 范畴。

代表公司与资本映射

资本映射逻辑

激活率持续走低
    → 推理算力需求增速放缓（同等能力模型推理更便宜）
    → 但总参数量继续膨胀 → HBM 容量/带宽需求持续增长
    → 瓶颈从"计算"转向"存储与通信"
    → 需求侧重点：HBM 供应商（SK 海力士、三星、美光）
    → 需求侧重点：高带宽互联（NVLink、CXL）
    → 需求侧重点：推理优化框架/芯片（关注存储带宽而非峰值算力）
    → 需重新审视：纯算力堆叠逻辑

投资逻辑

核心观点

1. 激活率是理解”推理经济学”的核心变量。它解释了为什么 DeepSeek 能以远低于同等能力 Dense 模型的成本提供服务。

2. 激活率走低 ≠ 算力需求走低。训练时仍需全参数更新；推理时权重需全量驻留 HBM。真正的瓶颈从计算转向存储带宽。

3. 关注”有效激活率”而非纸面激活率。负载均衡差、路由坍缩等问题会导致实际算力消耗高于理论值。拥有高效路由和系统优化能力的团队有工程壁垒。

4. MoE 是主流方向，但 Dense 未死。中小模型、边缘部署、对推理延迟确定性要求极高的场景，Dense 模型仍有不可替代性。

5. 硬件投资含义：峰值 FLOPs 的重要性相对下降，HBM 带宽和容量、芯片间互联带宽的重要性上升。

常见误读纠偏

误读一：「激活率低 = 推理显存占用低」

纠偏：完全错误。MoE 模型推理时，所有专家的权重都必须驻留在显存中（因为每个 token 的路由结果不同，你无法预知下次会激活哪些专家）。激活率低只降低了计算量（FLOPs），不降低存储量。这是最容易被忽视的 MoE 成本结构。

推理显存 ≈ 全部参数 × 精度字节数 + KV Cache + 激活值
         ≈ 与 Dense 同等总参量的模型类似
推理计算量 ≈ 激活参数 × 序列长度 × 常数
           ≈ 远低于同等总参量的 Dense 模型

误读二：「K/N = 全局激活率」

纠偏：不一定。全局激活率 = (D_shared + K × D_expert) / (D_shared + N × D_expert)。当共享层（Attention、Embedding、LayerNorm 等）参数占比较大时，全局激活率会显著高于 K/N。例如 DeepSeek-V3 的 K/N = 8/256 = 3.125%，但其全局激活率约 5.5%，差异来自共享层和共享专家的参数贡献。

误读三：「激活率越低越好」

纠偏：存在边际收益递减和质量拐点。激活率过低（如 K=1, N=极大）可能导致：

• 单个专家承载知识过少，出现”知识碎片化”
• 路由微小扰动导致输出大幅变化，模型鲁棒性下降
• 训练过程中专家利用率不均，部分专家”休眠”

业界当前的”甜蜜区”在 5%—30% 之间，具体取决于模型规模、训练数据量和下游任务。

误读四：「MoE 的 All-to-All 通信和 Dense 模型的 AllReduce 差不多」

纠偏：通信模式完全不同。

• Dense 张量并行：每个 GPU 计算完整层的一部分，通信模式是 AllReduce/ReduceScatter，通信量可预测。
• MoE 专家并行：token 需要路由到特定 GPU 上的特定专家，通信模式是 All-to-All，通信量取决于路由分布，天然不均衡，对互联拓扑和调度策略要求更高。

学习路径

入门（建立直觉）

1. 阅读 Mistral AI 的 Mixtral 8×7B 公告博客，理解 MoE 的基本结构
2. 理解 Top-K 路由的基本概念：为什么不是所有专家都激活

进阶（理解机制）

3. 阅读 Fedus et al., “Switch Transformers” (2021) — 理解极端稀疏 MoE
4. 阅读 DeepSeek-V2 技术报告 — 理解共享专家、MLA 等现代设计
5. 学习 Megatron-LM 的 MoE 实现 — 理解 All-to-All 通信和专家并行

深入（工程与经济学）

6. 用 roofline 模型分析 MoE 推理的算力 vs 带宽瓶颈
7. 对比 Dense vs MoE 在相同推理预算下的能力表现
8. 研究 vLLM/SGLang 中 MoE 推理的实际优化策略

推荐论文/资源

• Shazeer et al., “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer” (2017)
• Fedus et al., “Switch Transformers” (2021)
• DeepSeek-V2 Technical Report (2024)
• DeepSeek-V3 Technical Report (2024)
• Megatron-LM GitHub — MoE 分支
• NVIDIA “Scaling Expert Language Models” blog (如有)

一句话总结

激活率是 MoE 大模型时代的核心成本杠杆——它用”少算”换”多知”，让万亿参数模型以百亿参数的成本推理，但显存和带宽的全量负担一分不少，真正的投资焦点应从峰值算力转向存储带宽与互联。

延伸阅读与来源

⚠️ 声明：本文中未标注具体来源的数字为基于公开信息的定性推算或行业共识性表述。各模型的具体参数量/激活参数量以官方技术报告为准。本文不构成投资建议。