動態稀疏（Dynamic Sparsity）
文件性質：產業鏈科普頁，資訊僅供學習參考，不構成任何投資或技術決策建議。 資料口徑：除特別標註年份/來源外，部分資料為公開資料整理，可能存在滯後。
一、30 秒速覽
一句話定義：動態稀疏是一種”讓 AI 晶片在執行時跳過無效計算”的最佳化技術——不像靜態剪枝一刀切，它根據當前輸入即時決定哪些神經元/注意力頭/矩陣塊可以”跳過”，從而降低算力消耗、提升吞吐。
鏈-芯-核對映：
| 層級 | 含義 | 動態稀疏的體現 |
|---|---|---|
| Chain（系統鏈） | 叢集/架構層 | 訓練架構中的稀疏排程器、MoE 路由 |
| Chip（晶片） | 架構層 | 支援 2:4 結構化稀疏的張量核、稀疏張量加速單元 |
| Core（計算核） | 微架構層 | 零值跳過、壓縮索引解碼、非零塊收集引擎 |
一句話價值：理論上可將 Transformer 類模型推論吞吐提升 1.5×–2×（NVIDIA Ampere 白皮書，2020），同時將大型模型訓練通訊量降低 40%+（Switch Transformer 論文，Google，2022）。
二、3 分鐘深度
2.1 為什麼需要”動態”稀疏？
| 對比維度 | 靜態稀疏（Static） | 動態稀疏（Dynamic） |
|---|---|---|
| 稀疏模式 | 訓練後固定，推論時不變 | 隨輸入啟用值即時變化 |
| 典型技術 | 非結構化剪枝、結構化通道剪枝 | 啟用稀疏（ReLU 天然零值）、Top-K 路由、MoE |
| 精度保持 | 需重訓練/微調補償 | 天然保持（不修改權重） |
| 硬體友好度 | 低（隨機位置跳過） | 高（結構化塊/2:4 模式） |
2.2 關鍵技術分支
動態稀疏
├── 啟用稀疏 (Activation Sparsity)
│ ├── ReLU/SiLU 天然零啟用
│ └── Top-K 稀疏啟用（如 DeepSeek-V2 的 DeepSeekMoE）
├── 注意力稀疏 (Attention Sparsity)
│ ├── 固定模式：Longformer、BigBird
│ └── 動態模式：Routing Transformer、MoA
└── 權重-啟用聯合稀疏 (Joint Sparsity)
├── NVIDIA 2:4 結構化稀疏（硬體原生支援）
└── 塊稀疏（Block Sparse）+ 壓縮索引2.3 產業鏈速覽
[上游] [中游] [下游]
稀疏演算法研究 晶片設計 大型模型訓練/推論
├─ 學術論文 ├─ NVIDIA (Ampere+) ├─ 雲端廠商 (推論加速)
├─ 稀疏訓練架構 ├─ Google (TPU v4/v5) ├─ 端側部署 (手機/IoT)
│ (DeepSpeed, FairScale) ├─ 國產晶片廠商 └─ 垂直應用
├─ 稀疏編譯器/運算元庫 │ (華為、寒武紀等)
└─ 稀疏基準測試 └─ AI 晶片創業公司三、15 分鐘專家深入
3.1 技術原理詳解
3.1.1 稀疏性的來源與分類
神經網路中的稀疏性有三種主要來源：
| 型別 | 產生機制 | 動態性 | 計算節省潛力 |
|---|---|---|---|
| 權重稀疏 | 訓練時正則化/剪枝 | 低（推論時固定） | 中（需硬體支援非結構化跳過） |
| 啟用稀疏 | ReLU 等啟用函式輸出零值 | 高（隨輸入變化） | 高（可直接跳過後續乘加） |
| 注意力稀疏 | Softmax 後部分注意力權重趨近零 | 中-高 | 中-高（尤其長序列場景） |
關鍵洞察：在典型 Transformer 模型中，ReLU 啟用的零值比例可達 50%–90%（論文 Sparse is Enough，2021；具體比例因模型/層位置而異）。這意味著近一半的矩陣乘法理論上可以跳過。
3.1.2 動態稀疏的核心技術棧
（1）啟用稀疏（Activation Sparsity）
- 原理：利用 ReLU/SiLU 啟用函式的天然稀疏性，在推論時檢測零值啟用，跳過對應權重列/行的計算。
- 代表工作：
- ReLU 最佳化：NVIDIA Ampere 架構的 2:4 結構化稀疏（每 4 個元素中強制 2 個為零，硬體原生支援零值跳過，理論加速比 2×，實際約 1.5×–1.8×；NVIDIA GTC 2020 公佈）
- Top-K 稀疏啟用：DeepSeek-V2 的 DeepSeekMoE 架構（2024），每個 token 僅啟用少量 expert，其餘 expert 計算完全跳過
（2）注意力稀疏（Attention Sparsity）
- 問題：標準 Self-Attention 的計算複雜度為 O(n²)，長序列場景成為瓶頸。
- 動態方案：
- Routing Transformer（2020）：基於 k-means 聚類動態路由注意力
- Mixture of Attention (MoA)（2022）：不同頭使用不同稀疏模式，由路由器動態選擇
- Flash Attention（Tri Dao，2022）：雖非嚴格意義上的稀疏技術，但通過 IO-aware 計算最佳化，將注意力計算的 GPU HBM 訪問大幅減少，與稀疏技術形成互補
（3）MoE（Mixture of Experts）路由稀疏
- 原理：將 FFN 層拆分為多個 expert，每個 token 由路由器動態選擇 Top-K 個 expert 計算，其餘 expert 靜默。
- 代表模型：
- Switch Transformer（Google，2021）：Top-1 路由，引數量 1.6T，啟用引數僅約 1/64
- Mixtral 8×7B（Mistral AI，2024）：Top-2 路由，總引數 46.7B，啟用引數約 12.9B
- DeepSeek-V3（2024）：671B 總引數，每 token 僅啟用 37B
（4）硬體-軟體協同設計
| 技術層 | 關鍵挑戰 | 解決思路 |
|---|---|---|
| 運算元層 | 非結構化稀疏的索引開銷 | 結構化稀疏（2:4、Block Sparse）減少索引 |
| 編譯器 | 動態稀疏模式的圖最佳化 | XLA/TVM 中的稀疏圖 pass、Triton 自定義 kernel |
| 硬體 | 不規則訪存降低頻寬利用率 | 專用收集/散射引擎（scatter-gather）、壓縮格式支援 |
3.1.3 效能資料參考
| 指標 | 數值 | 來源/口徑 |
|---|---|---|
| 2:4 稀疏張量核理論加速 | 2× | NVIDIA Ampere 白皮書，2020 |
| 2:4 稀疏實測加速（BERT-large 推論） | 1.5×–1.8× | NVIDIA MLPerf 結果，2021 |
| Switch Transformer 訓練速度 vs. T5-XXL | 7×（同等算力下） | Google 論文，2021 |
| DeepSeek-V3 每 token 訓練成本 | $0.0025（FP8，H800 叢集） | DeepSeek 官方技術報告，2024.12 |
| 啟用稀疏零值比例（典型 Transformer） | 50%–90% | 依模型/層而異，學術文獻統計 |
3.2 產業鏈上下游詳析
3.2.1 上游：演算法與架構層
| 環節 | 代表專案/機構 | 作用 |
|---|---|---|
| 稀疏訓練架構 | DeepSpeed (微軟)、FairScale (Meta)、Megatron-LM (NVIDIA) | 提供 ZeRO、MoE 並行、稀疏化訓練原語 |
| 稀疏推論引擎 | TensorRT (NVIDIA)、ONNX Runtime (微軟)、TensorFlow Lite | 支援 2:4 稀疏權重的推論加速 |
| 稀疏編譯器 | MLIR/XLA (Google)、Triton (OpenAI)、TVM (Apache) | 將稀疏計算圖編譯為高效硬體指令 |
| 學術研究 | MIT HAN Lab、斯坦福 HAI、清華計圖團隊、北大機器學習中心 | 稀疏訓練演算法、NAS 搜尋稀疏架構 |
3.2.2 中游：晶片與硬體層
（1）國際廠商
| 廠商 | 產品/技術 | 稀疏支援情況 |
|---|---|---|
| NVIDIA | A100/H100/H200/B100/B200 | 2:4 結構化稀疏張量核（Ampere 起）；Hopper 架構增加 FP8 稀疏支援 |
| TPU v4/v5e/v5p | SparseCore（2024 公佈）：專為稀疏特徵/嵌入最佳化的硬體單元 | |
| Intel | Gaudi 2/3 | 公開資料未見明確的動態稀疏硬體原語，但支援混合精度 |
| AMD | MI300X/MI325X | 公開資料未見明確的結構化稀疏張量核 |
| Cerebras | WSE-2/WSE-3 | 稀疏計算是其核心賣點之一：900K 核心可獨立跳過零值計算 |
（2）中國廠商
| 廠商 | 產品/進展 | 動態稀疏相關情況 |
|---|---|---|
| 華為海思 | 昇騰 910B/910C | 昇騰 CANN 架構支援部分稀疏運算元；公開資料未見明確的 2:4 結構化稀疏硬體原語 |
| 寒武紀 | 思元 590 | 支援稀疏計算加速，具體動態稀疏能力的詳細技術白皮書公開資料未見 |
| 壁仞科技 | BR100/BR104 | 公開資料未見明確的動態稀疏硬體支援細節 |
| 燧原科技 | 雲端燧 i20 | 公開資料未見明確的動態稀疏硬體支援細節 |
| 崑崙芯 | 崑崙芯 2 | 公開資料未見明確的動態稀疏硬體原語 |
| 沐曦 | 曦雲端 C500 | 公開資料未見明確的動態稀疏支援細節 |
⚠️ 注意：國產晶片廠商在公開技術文件中對”動態稀疏”硬體原語的描述較少，上述資訊基於截至 2024 年底的公開資料整理，可能存在資訊滯後或遺漏。
3.2.3 下游：應用層
| 應用場景 | 稀疏技術的作用 | 代表案例 |
|---|---|---|
| 雲端端大型模型推論 | 降低單請求算力成本，提升吞吐 | Mixtral 8×7B 部署（MoE 稀疏路由） |
| 端側推論 | 手機/IoT 裝置上跑更大型模型 | Qualcomm AI Engine 支援稀疏加速（2023+） |
| 長序列處理 | 注意力稀疏降低 O(n²) 瓶頸 | 長文件/影片理解、基因組序列 |
| 推薦系統 | 嵌入層稀疏化 | Google SparseCore 針對推薦特徵最佳化（2024） |
| 訓練效率 | MoE 減少每次啟用引數量，降低通訊 | Switch Transformer、DeepSeek-V3 |
3.3 代表公司深度分析
3.3.1 NVIDIA：硬體原生稀疏的推動者
- 關鍵舉措：Ampere 架構（2020）首次引入 2:4 結構化稀疏張量核，要求每 4 個權重元素中恰好 2 個為零，硬體可直接跳過零值計算。
- 生態繫結：TensorRT 推論引擎原生支援 2:4 稀疏權重匯入和加速。
- 實際效果：MLPerf Inference 2.1（2021）中，NVIDIA A100 使用 2:4 稀疏後，BERT-large 推論吞吐提升約 1.5×–1.8×。
- 侷限：僅支援結構化 2:4 模式，非結構化稀疏仍需軟體模擬，效果有限。
3.3.2 Google：系統級稀疏的先行者
- TPU SparseCore（2024 年公佈）：在 TPU v5p 中整合專用 SparseCore，針對推薦系統中的稀疏嵌入表（如使用者 ID、物品 ID）進行硬體級最佳化，可將嵌入查詢吞吐提升數倍。
- Switch Transformer（2021）：首個突破 1T 引數的稀疏模型，證明 MoE 路由可大幅降低訓練成本。
- GShard（2020）：600B 引數 MoE 模型，跨 2048 TPU 訓練，展示了稀疏模型的分散式訓練範式。
3.3.3 DeepSeek：國產 MoE 稀疏的標杆
- DeepSeek-V2（2024.05）：236B 總引數，每 token 啟用 21B，採用 MLA（Multi-head Latent Attention）+ DeepSeekMoE 架構。
- DeepSeek-V3（2024.12）：671B 總引數，每 token 啟用 37B，訓練成本約 $5.576M（H800 叢集，FP8 混合精度），訓練時長約 2 個月。
- 意義：證明國產團隊在 MoE 稀疏架構設計上具有國際競爭力，且訓練成本遠低於同量級 Dense 模型。
3.3.4 Cerebras：純稀疏硬體路線
- WSE-2（2021）：850,000 個核心，每個核心可獨立判斷是否跳過計算，天然適合稀疏負載。
- WSE-3（2024）：900,000 核心，44GB SRAM，支援動態稀疏無需額外索引開銷（SRAM 直接定址）。
- 定位：面向科研和超大型模型訓練的垂直場景，商業化規模有限。
3.4 中國進展綜述
3.4.1 學術研究
| 機構 | 代表工作 | 時間 |
|---|---|---|
| 清華大學 | MoE 相關研究（如 Expert Choice Routing）、稀疏訓練理論 | 2021+ |
| 北京大學 | 稀疏神經網路的泛化性分析 | 2022+ |
| 上海交通大學 | 結構化剪枝、稀疏卷積 | 2021+ |
| 中國科學院 | 稀疏注意力機制 | 2022+ |
| 香港大學 | Dynamic Token Pruning（動態 token 剪枝） | 2022 |
⚠️ 上述為部分代表性工作，完整列表公開資料未見系統性整理。
3.4.2 產業應用
| 公司 | 進展 | 備註 |
|---|---|---|
| DeepSeek | DeepSeek-V2/V3（MoE 架構，全球領先） | 2024 年開源，社群反響強烈 |
| 華為 | 昇騰 CANN 稀疏運算元支援；盤古大型模型採用 MoE 架構 | 具體稀疏硬體原語細節公開資料未見 |
| 阿里 | Qwen 系列模型暫未採用 MoE（截至 2024 底） | 但通義團隊在研究中 |
| 字節跳動 | 內部大型模型訓練中探索 MoE（公開資料有限） | — |
| 智譜 AI | GLM 系列暫未採用 MoE（截至 2024 底） | — |
| 百川智慧 | 公開資料未見明確的 MoE/動態稀疏路線 | — |
3.4.3 基礎設施與工具
| 工具/平台 | 稀疏相關能力 |
|---|---|
| 華為 MindSpore | 支援稀疏運算元和 MoE 並行訓練（昇思套件） |
| 百度 PaddlePaddle | 支援部分稀疏訓練，公開資料未見原生 MoE 路由器 |
| 阿里 PAI | 內部支援 MoE 訓練排程（公開文件有限） |
| 國產編譯器 | 公開資料未見成熟的端到端稀疏編譯器（對標 TensorRT/Triton） |
3.5 風險與爭議
3.5.1 技術風險
| 風險 | 說明 |
|---|---|
| 稀疏率-精度權衡 | 高稀疏率（>70%）通常帶來精度下降；動態稀疏雖優於靜態，但並非無限 |
| 硬體碎片化 | NVIDIA 2:4 稀疏是事實標準，但其他廠商（AMD、國產）支援不一致，生態割裂 |
| 實際加速不達預期 | 理論 2× 加速，實際受記憶體頻寬、索引開銷、批處理效率等影響，常降至 1.3×–1.5× |
| 動態性的排程開銷 | 即時檢測零值/路由選擇本身消耗算力，需硬體-軟體深度協同 |
3.5.2 產業爭議
| 爭議點 | 正方觀點 | 反方觀點 |
|---|---|---|
| MoE 是否是大型模型的未來？ | 降低訓練/推論成本（如 DeepSeek-V3）；Scaling Law 支援 | 模型體積膨脹、部署複雜度高；路由不穩定、專家坍縮問題 |
| 結構化稀疏 vs. 非結構化 | 結構化（2:4）硬體友好、實際加速明確 | 非結構化稀疏率更高、更靈活，但缺乏硬體支援 |
| 國產晶片的稀疏能力差距 | 華為昇騰在快速追趕 | 與 NVIDIA 2:4 原生支援相比，國產方案的成熟度和生態仍有差距 |
| 稀疏是否”免費午餐” | 無精度損失的加速 | 實際上需要大量工程調優，且對模型架構有約束 |
3.5.3 政策與地緣風險
- 出口管制影響：美國對華 AI 晶片出口管制（2022.10 起，2023.10 更新）限制了 NVIDIA H100/H800 等支援原生稀疏的高階晶片對華銷售，國產晶片需自行開發稀疏硬體能力。
- 算力自主可控壓力：動態稀疏作為”用更少算力做更多事”的技術路線，對降低對高階晶片依賴有一定戰略意義，但短期內難以完全替代硬體升級。
3.5.4 倫理與社會風險
- 模型透明度下降：MoE 的路由機制使模型行為更難解釋（“哪個 expert 處理了這個 token”不直觀）。
- 資源分配不均：掌握稀疏訓練技術和大算力的機構將進一步拉開與小團隊的差距。
3.6 未來趨勢展望
| 趨勢 | 時間視窗 | 依據 |
|---|---|---|
| MoE 成為大型模型主流架構之一 | 2024–2026 | DeepSeek-V3、Mixtral、GPT-4（傳聞採用 MoE）的成功 |
| 2:4 稀疏成為推論標配 | 2024–2025 | NVIDIA Blackwell 架構繼續強化；軟體生態逐步成熟 |
| 國產晶片追趕稀疏硬體能力 | 2025–2027 | 華為、寒武紀等在研產品路線圖（公開資料有限） |
| 稀疏 + 量化組合最佳化 | 2024–2026 | FP8/INT4 + 2:4 稀疏的疊加效果（理論 3×–4× 加速） |
| 端側動態稀疏部署 | 2025+ | Qualcomm、聯發科 NPU 開始支援輕量稀疏 |
附錄：關鍵術語速查
| 術語 | 全稱/含義 |
|---|---|
| 2:4 Sparsity | 每 4 個權重元素中恰好 2 個為零的結構化稀疏模式，NVIDIA Ampere+ 原生支援 |
| MoE | Mixture of Experts，混合專家模型，通過動態路由啟用部分專家 |
| Top-K Routing | 每個 token 僅啟用 K 個專家的路由策略 |
| Zero-Shot Sparsity | 不經過稀疏訓練，直接利用啟用函式的天然零值進行計算跳過 |
| Block Sparse | 按固定大小的塊為單位進行稀疏化，減少索引開銷 |
| SparseCore | Google TPU v5p 中的專用稀疏計算單元 |
免責宣告：本文件所有資訊均基於公開資料整理，僅供學習參考，不構成任何投資、技術選型或商業決策建議。部分資料可能存在時效性，建議讀者結合最新官方文件和論文進行判斷。
最後更新：基於截至 2024 年底的公開資料整理