稀疏 TOPS

1. 3 秒看懂

稀疏 TOPS (Sparse TOPS) 是衡量 AI 加速器在稀疏資料條件下，每秒鐘可執行的有效萬億次乘累加（MAC）運算峰值的指標。它揭示晶片架構在遇到大量零值時，能否智慧“跳過”無效計算，只對有用資料發力。在同代工藝和功耗條件下，該數值通常是傳統密集 TOPS 的 2 倍上下，是衡量算力真實效率和硬體智慧化水平的關鍵標尺。

2. 3 分鐘產業解釋

傳統深度學習加速器無論權重或啟用值是否為零，都會執行完整的乘累加，大量算力消耗在“零”的計算上。隨著大型模型引數邁入千億級，以及模型剪枝、稀疏啟用等稀疏化技術成熟，底層硬體對稀疏性的原生支援成為突破算力牆的必然路徑。

產業中的三重價值正在凸顯：

1. 能效與 TCO 革命：在推論場景中，通過跳過零值計算，晶片能在同等功耗下提供數倍有效算力，直接轉化為資料中心總擁有成本（TCO）的壓縮。以 GPU 雲端例項為例，支援稀疏的晶片可使處理相同推論吞吐的每小時例項價格更低，或在相同成本下吞吐翻倍。
2. 軟硬體協同設計的加速器：稀疏 TOPS 的實現依賴晶片級硬支援（典型的如 2:4 結構化稀疏）。這倒逼演算法團隊在模型設計時就內建稀疏模式，以充分釋放硬體潛力，形成“硬體定義演算法最佳化方向、演算法放大硬體價值”的正迴圈。
3. 競爭焦點移位：在密集算力標稱值捲到 PFLOPS 級別後，稀疏 TOPS 以及有效稀疏利用率成為區分晶片實際落地效率的核心維度。晶片廠商的技術敘事正從“我能提供多少理論峰值”轉向“我能讓模型跑得多省、多快”。

3. 技術原理

稀疏計算將傳統密集乘累加流水線改造為“檢查-選擇性計算-累加”的流水線。以晶片廣泛支援的 2:4 結構化稀疏為例，在每組連續 4 個元素中，硬體保證最多 2 個為非零值，其餘強制為零。

資料表示與壓縮
權重或啟用值以壓縮格式儲存，僅儲存非零值和對應索引，實際儲存量減半。同時附著一個精密的稀疏掩碼，指明非零元素在原始向量中的位置。

硬體執行流程（以處理一個 2:4 稀疏向量為例）

1. 掩碼解析：稀疏解碼器讀入掩碼 [1,0,0,1]（表示第 1、4 位置非零），生成選擇訊號。
2. 資料路由：根據選擇訊號從壓縮儲存中直接取出非零值 [A, D]，跳過中間為零的 B、C。
3. 選擇性乘：控制邏輯展望計算單元僅執行 A × Input1 和 D × Input4，不產生與 B、C 有關的任何運算。
4. 累加輸出：將兩次乘法結果累加輸出，全程無無效計算，計算單元利用率提升。

硬體模組變更
支援稀疏的計算核心需要額外整合稀疏排程器、掩碼解碼單元和增強型資料路徑，但這部分邏輯開銷遠小於省下的乘法器功耗與面積，因而綜合能效提升顯著。

理想與實際
理想條件下，2 倍密集算力躍升成立。但在真實模型中，受記憶體頻寬、稀疏模式匹配度和執行時軟體開銷影響，實際稀疏加速比常落在 1.3× 至 1.8× 之間，需依賴架構、編譯器和庫的協同才能逼近理論峰值。

4. 關鍵引數

評估稀疏 TOPS 及其落地效率，建議同時關注以下維度的指標：

• 理論峰值稀疏 TOPS
  廠商公佈核心規格時的峰值，通常基於特定資料格式（FP16、INT8、FP8 等）和理想 2:4 結構化稀疏。以 NVIDIA H100 (2022 年釋出) 為例，其 FP16 Tensor Core 密集算力為 2 000 TFLOPS，稀疏算力為 4 000 TFLOPS（來源：NVIDIA H100 白皮書）。AMD Instinct MI300X (2023 年釋出) 的 FP16 密集算力為 1.3 PFLOPS，稀疏算力 2.6 PFLOPS（來源：AMD MI300X 規格表）。兩家的稀疏/密集比值均為 2×。

• 稀疏加速比（實測值）
  在典型模型（如 Llama 2 70B、GPT-3 175B）上的實際吞吐提升比率。行業估算顯示，NVIDIA H100 在主流大語言模型推論中，啟用 2:4 稀疏後的實際吞吐提升約為 1.3× 至 1.8×（來源：第三方獨立測試綜述，SemiAnalysis 2023 報告），具體值高度依賴模型與架構最佳化。

• 支援的稀疏模式靈活性
  除 2:4 外，是否支援更靈活的 N:M 模式（如 4:8 或動態稀疏）決定了晶片對前沿稀疏演算法的相容寬度。目前主力產品仍以 2:4 為主，靈活性相對受限。

• 記憶體頻寬與快取設計
  稀疏計算雖減少計算量，但會放大對非零值隨機訪問的頻寬敏感度。高頻寬記憶體（如 HBM3、HBM3e）容量和快取層次對維持稀疏加速比至關重要。

• 軟體棧支援度
  架構（PyTorch、TensorFlow）的原生稀疏 API 覆蓋、編譯器稀疏最佳化（如 NVIDIA cuSPARSELt、AMD rocSPARSE）的穩定性，決定了開發者能否以最小改造成本將稀疏化模型部署成功。

• 能效比（TOPS/W）
  完成有效計算時的功耗。相同密集算力下，晶片每瓦提供的稀疏 TOPS 越高，其在部署中的價效比優勢越顯著。

5. 技術路線

稀疏 TOPS 的實現經歷了從無到有、從固定模式向靈活適配演進的三階段：

1. 軟體稀疏期（2018 年前）
   稀疏化停留在剪枝演算法層面，硬體缺乏原生加速，主要通過 CPU 的通用稀疏矩陣庫或 GPU 的密集核硬算，效率低下，無法在大規模推論中產生優勢。

2. 硬體標準化引入期（2019—2021）
   業界認識到結構化稀疏的硬體友好性。NVIDIA Ampere 架構（A100, 2020 年）在 Tensor Core 中首次引入 2:4 結構化稀疏支援，將稀疏加速與密集矩陣計算深度耦合，標誌著硬體原生稀疏商用化起點。

3. 迭代擴張期（2022 至今）
   NVIDIA Hopper（H100）、Blackwell（B200）持續強化稀疏 Tensor Core，提升時脈頻率和記憶體壓縮效率。AMD CDNA 3 架構（MI300 系列）加入對結構化稀疏的硬體支援。英特爾 Gaudi 3 宣稱支援稀疏計算，但具體實現細節未完全公開。新興路線還包括將啟用稀疏（如 MoE 專家稀疏）與權重稀疏聯合加速，以及面向特定模型（如 Transformer）的專用稀疏引擎。

當前主流技術路線對比：

路線	代表產品	稀疏模式	密集/稀疏算力（FP16）	技術要點與侷限
NVIDIA Ampere/Hopper/Blackwell	H100, B200	2:4 結構化稀疏	H100: 2 000/4 000 TFLOPS；B200: 2 250/4 500 TFLOPS	生態最成熟，cuBLAS/cuDNN 介面完備，但實際加速高度依賴訓練後量化細粒度剪枝
AMD CDNA 3	MI300X	稀疏支援（官方未指明固定 N:M）	1 300/2 600 TFLOPS	理論值對齊，但 ROCm 稀疏庫相比 CUDA 生態尚有差距，開發者遷移成本較高
英特爾 Gaudi 3	Gaudi 3 PCIe	宣稱支援結構化稀疏	未完全揭露具體稀疏 TOPS 峰值	強調 Scale‑out 網路與價效比，稀疏庫 on oneAPI 逐步完善，市場滲透仍在初期

6. 上游

稀疏 TOPS 的實現依賴多條上游供應鏈的協同：

• 晶片設計 IP
  提供支援稀疏處理的高效能矩陣乘法 IP 核，包括掩碼解碼邏輯與壓縮資料通路的設計方案。EDA 工具需要能夠對稀疏相關的資料流進行時序、功耗驗證。

• 製程工藝
  稀疏控制邏輯需要額外電晶體預算。台積電 N4、N5 等先進製程（注：截至 2025 年 N3 仍為 FinFET，N2 將採用奈米片電晶體）為整合精細化稀疏加速單元提供密度和能效基礎。先進工藝的進步直接影響稀疏單元可整合的複雜度與頻率。

• 先進封裝與互連
  稀疏加速器對記憶體頻寬需求高，因此需高頻寬記憶體 (HBM) 及與之匹配的 2.5D/3D 封裝技術（CoWoS、EMIB 等）。台積電 CoWoS、英特爾 EMIB 的產能和良率直接影響高階稀疏算力晶片的出貨。2024 年 CoWoS 產能緊張一度制約 AI GPU 供給（來源：台積電法人說明會公開資訊，口徑為台積電高管發言）。

• 高速 SerDes 與網路
  多節點稀疏計算叢集需要高速片間互連和網路，確保稀疏張量跨 GPU 並行時通訊不成為瓶頸。

7. 下游

下游承接晶片的稀疏能力，形成應用閉環：

• AI 架構與推論引擎
  PyTorch 提供的 torch.sparse 及 torch.sparse.semi_structured、TensorFlow 的模型壓縮工具包等，是開發者將稀疏模型轉化為硬體加速指令的核心路徑。架構對稀疏運算元的覆蓋度直接決定落地廣度。

• 演算法與模型開發商
  頭部 AI 實驗室及企業演算法團隊研發支援硬體結構化稀疏的訓練和微調演算法（如 SparseGPT、Wanda）。他們的產出將決定硬體能否拿到大量可直接加速的稀疏模型。

• 雲端服務與終端推論
  雲端廠商（AWS、微軟 Azure、Google雲端）的稀疏加速例項使開發者可按需呼叫稀疏推論。端側與邊緣場景中，稀疏 TOPS 對於在功耗和麵積受限條件下執行 LLM 或視覺模型至關重要，帶動車載、手機等端側 AI 晶片引入稀疏加速單元。

8. 受益公司

稀疏 TOPS 作為高階 AI 晶片的標配特徵，令產業鏈中的多個環節受益（僅描述技術依賴與受益邏輯，不構成任何投資建議）：

• NVIDIA
  率先在 A100、H100、B200 中推廣 2:4 稀疏，CUDA 生態對稀疏 API 支援最完備。在主流大型模型推論中，其硬體‑軟體協同的稀疏加速能力使得 H100/B200 成為雲端廠商採購的優先選擇，強化其在資料中心 GPU 市場的主導地位。

• AMD
  MI300 系列加入稀疏支援以縮小與 NVIDIA 的效率差距。若能繼續縮小 ROCm 稀疏庫與 CUDA 的差距，有望獲取一部分價格敏感、尋求多供應商策略的雲端廠商訂單。

• 英特爾
  Gaudi 3 及後續 GPU 通過稀疏和網路特性主打價效比，試圖在企業私有化部署和混合 AI 領域獲取份額。其受益程度取決於 oneAPI 生態的成熟速度。

• AI 晶片初創公司
  如 d‑Matrix、Groq、Tenstorrent 等從架構層面設計更原生的稀疏資料流處理器，部分產品宣稱針對 LLM 推論可獲得更高稀疏效率。若其產品實現規模部署，將受益於稀疏算力需求爆發。

• 晶圓代工與封裝
  先進製程及 CoWoS 封裝產能（主要由台積電提供，英特爾、三星亦有版面配置）的高利用率與擴張，直接受益於高複雜度稀疏 AI 晶片的強勁需求。產能增長情況可追蹤代工廠資本支出展望。

• 雲端服務提供商
  擁有自研晶片的雲端巨頭（如 AWS Trainium、Inferentia；Google TPU）可將稀疏最佳化定製進內部工作負載，降低對外採 GPU 的依賴和運營成本，從而改善雲端業務的獲利率。

9. 市場規模

關於稀疏 TOPS 本身的獨立市場統計，公開資料未見專門量化。但可從 AI 加速器整體市場中窺見其滲透規模：

• 資料中心 AI 處理器市場
  據 Omdia 估計，2023 年全球資料中心 AI 處理器市場（含 GPU、FPGA、專用 ASIC）規模約為 280 億美元（口徑為廠商出貨額，來源：Omdia 2023 年報告）。其中，具備稀疏 TOPS 計算能力的 NVIDIA Ampere/Hopper 等高階 GPU 佔據了絕大部分出貨價值。至 2024 年，該市場預估攀升至約 500 億美元（來源：Omdia 2024 年預測資料），新增產品幾乎全部支援結構化稀疏。

• 端側 AI 晶片
  針對高階智慧手機、汽車 ADAS 的 AI 處理器也開始宣傳稀疏 TOPS，其市場規模尚在快速擴容期，權威資料未單獨分割。以高通驍龍 8 Gen 3、Apple A17 Pro 等為代表的內建 NPU 中部分已具備稀疏加速特徵，但具體 TOPS 計入方式各廠商不一，缺乏統一口徑。

• 稀疏相關軟體與服務
  圍繞稀疏訓練、推論最佳化的工具鏈和 MLOps 服務市場也在增長，但無直接規模資料。綜合判斷，稀疏算力在 2024‑2025 年已成為高階 AI 晶片的事實性標配，佔資料中心 AI 處理器出貨價值量的絕大部分，但具體滲透率金額需等待專業調研機構細項揭露。

10. 玩家對比

主要 AI 加速器供應商在稀疏 TOPS 維度上的技術競爭格局如下（截至 2024 年底公開資訊）：

廠商	典型產品	稀疏模式	理論峰值稀疏 TOPS（FP16）	軟體生態與稀疏庫	優勢與不足
NVIDIA	H100 / B200	2:4 結構化	H100: 4 000 TFLOPS；B200: 4 500 TFLOPS	CUDA, cuSPARSELt, TensorRT; 稀疏模型轉換工具成熟	生態最強，但依賴訓練後剪枝且加速比實打折扣，部分客戶面臨 vendor lock‑in
AMD	Instinct MI300X	結構化稀疏支援（2:4 類似）	2 600 TFLOPS	ROCm, rocSPARSE; 稀疏支援在 PyTorch 中基礎可用	理論值接近，軟體棧尚待向 CUDA 的深度和易用性靠近；雲端廠商採用比例仍低
英特爾	Gaudi 3	宣稱結構化稀疏	未完全揭露	oneAPI, 定製版 PyTorch; 稀疏功能處於早期最佳化階段	強調網路與成本優勢，稀疏實現細節透明度不足，對開發者吸引力待檢驗
雲端廠自研	Google TPU v5 / AWS Trainium2	細節未公開，部分支援稀疏推論最佳化	不直接揭露常規 TOPS	與自家架構深度繫結，不面向通用市場	成本自主可控，但生態鎖定一雲端，難以獨立比較

注：上述稀疏 TOPS 對比基於各自官方公佈的理論峰值。實際有效算力受模型、架構和記憶體頻寬影響差異極大，建議結合第三方獨立基準測試（如 MLPerf）檢視相應稀疏推論成績。

11. 風險

推廣稀疏 TOPS 及其生態過程中存在多方面風險：

• 精度損失風險
  對已訓練好的密集模型進行結構化剪枝，可能犧牲語言理解和生成質量。尤其是在低剪枝耐受能力的場景（如小樣本推論、醫療診斷輔助），精度回撤可能成為不可接受的代價。

• 加速比“天花板”
  實測加速比常遠低於 2 倍理論值，當模型未使用 2:4 稀疏或記憶體頻寬成為主導瓶頸時，稀疏硬體帶來的增益可能微乎其微，導致客戶對稀疏特性溢價支付意願下降。

• 軟體生態碎片化
  除 NVIDIA CUDA 外，競爭對手的稀疏庫成熟度不足。開發者須投入額外工程資源才能將稀疏模型穩定部署到非 NVIDIA 平台，阻礙了硬體選擇的多元化。這一生態壁壘可能導致整個稀疏市場被單家主導，推高採購成本。

• 標準化缺失
  當前缺乏統一的稀疏 TOPS 測試基準和口徑。不同廠商釋出的稀疏 TOPS 基於不同資料格式、稀疏假設條件，可能誤導下游客戶對實際效能的判斷，進而引發行業信任危機。

• 供應鏈瓶頸
  高階稀疏 GPU 依賴先進封裝與 HBM 產能，而 CoWoS 等產能曾經在 2023‑2024 年極為緊張。一旦供給再次受限，所有依賴高階稀疏晶片的下游部署都可能延期，放緩稀疏技術普及。

• 未來演算法方向的不確定性
  若未來出現更優的模型壓縮方法（如非結構化稀疏混合動態裁剪）或精度恢復技術，當前的 2:4 固定稀疏硬體可能淪為過渡方案，投資回報面臨挑戰。

12. 誤讀糾偏

• 誤讀一：“稀疏 TOPS 高，實際效能就一定高。”
  糾偏：稀疏 TOPS 是理想稀疏模式下的峰值，實際效能依賴模型與硬體的匹配度。若模型未針對 2:4 稀疏進行訓練後剪枝，即使晶片理論稀疏算力翻倍，實際加速可能為零。軟體棧的最佳化和記憶體頻寬同樣構成剛性限制，脫離上下文單看 TOPS 數值無實際工程意義。

• 誤讀二：“稀疏化總是帶來正向收益，沒有任何代價。”
  糾偏：結構化稀疏會帶來一定精度損失，且需要額外的掩碼儲存和解析開銷。在一些記憶體頻寬已經高度飽和的推論場景中，稀疏壓縮節省的計算量可能被資料解壓延時抵消，造成端到端 latency 改善有限。是否啟用稀疏、選擇何種稀疏率，是精度、吞吐、延遲、功耗的多目標權衡。

• 誤讀三：“稀疏 TOPS 是一項獨立的全新技術。”
  糾偏：它應被視為成熟矩陣計算單元的一種增強特性。基礎矩陣乘法引擎並未改變，只是加入了選擇性的計算跳轉邏輯。它是晶片架構演進的一條重要分支，而非脫離現有技術基礎的全新發明。密集 TOPS 和稀疏 TOPS 是同一晶片的兩種工作模式。

• 誤讀四：“有了稀疏 TOPS，記憶體頻寬就不再重要。”
  糾偏：稀疏計算雖然減少了 MAC 運算量，但仍需從記憶體系統讀取壓縮後的非零值和索引，且訪問模式更不規則。在大型模型推論中，記憶體頻寬往往是決定性瓶頸，稀疏計算若搭配頻寬不足的儲存系統，其優勢將難以兌現。

13. 最新事件

以下為截至 2025 年二季度初的若干重要動態（均基於公開資訊，不包含未公開內幕）：

• NVIDIA Blackwell Ultra 釋出
  在 2025 年 3 月 GTC 上，NVIDIA 展示 Blackwell Ultra GPU（GB300 等），進一步最佳化 Tensor Core 稀疏能力，強調在 2:4 稀疏下推論吞吐較 Hopper 有 4‑5 倍提升（來源：NVIDIA 2025 GTC keynote 及新聞稿）。該平台預計 2025 年下半年供貨。

• AMD 軟體棧加固
  AMD 於 2024 年底至 2025 年初密集更新 ROCm，重點改善稀疏推論的效能和穩定性，並在 PyTorch 中增加對 MI300X 稀疏路徑的預設支援，部分二線雲端廠商宣佈驗證稀疏例項（來源：AMD 官方部落格及合作伙伴新聞）。

• 稀疏演算法社群突破
  學界與企業聯合提出多種針對 LLM 的“一次性剪枝+少量校準”方案（如 Wanda、SpQR 的變體），在 Llama 2 系列上實現接近無損的 2:4 稀疏化，顯著降低客戶使用稀疏硬體的門檻。相關論文於 2024‑2025 年在頂會（NeurIPS、ICML）發表，程式碼已開源。（來源：arXiv 預印本及會議論文集）

• 雲端廠商稀疏例項上線
  AWS 在其 NVIDIA GPU 例項（如 P5e）中開放稀疏推論指南，指導客戶通過 NVIDIA TensorRT-LLM 啟用 2:4 稀疏，以更低價格提供更高有效吞吐。Google雲端也預告在其自研 TPU v5e 中加入對稀疏推論的增強支援。

14. 追蹤指標

持續監測稀疏 TOPS 技術與產業落地的進展，可以從以下指標切入：

• 晶片新品稀疏規格
  追蹤 NVIDIA、AMD、英特爾等新品釋出時密集/稀疏 TOPS 資料，以及支援的稀疏模式變化。尤其是非 2:4 模式或動態稀疏的引入。

• MLPerf 推論稀疏賽道成績
  在 MLCommons 組織的 MLPerf Inference 基準中，觀察提交系統在稀疏模型上的效能與能效表現，反映真實軟硬體協同水平。

• 大型模型架構稀疏運算元覆蓋率
  追蹤 PyTorch、TensorFlow、vLLM、SGLang 等主流架構/庫對稀疏矩陣乘法、稀疏注意力等運算元的原生支援進展和預設啟用情況。

• 雲端廠商稀疏例項可獲得性
  監測 AWS、Azure、GCP 是否推出標註“支援稀疏加速”的計算例項型別，以及其價效比定位。這可反映企業級市場接受度。

• 產業報告出貨結構
  關注 Mercury Research、JPR 等機構關於獨顯/資料中心 GPU 出貨的份額資料，判斷支援稀疏的新一代產品在總出貨中的滲透比例。

• 開源模型稀疏化的質量
  主流開源 LLM（如 Llama 3、Mistral、DeepSeek）釋出時，是否提供即用的 2:4 稀疏版 checkpoint 及精度報告，這是生態成熟度的重要訊號。

15. 信源

• NVIDIA Ampere Architecture White Paper；NVIDIA H100 Tensor Core GPU Architecture White Paper；NVIDIA Blackwell Architecture Technical Brief – 均來自 NVIDIA 官網技術資源區
• AMD Instinct MI300X Datasheet 及 CDNA 3 Architecture 公開技術摘要 – AMD 官網
• Intel Gaudi 3 AI Accelerator White Paper – Intel 官網
• Omdia, “Data Center AI Processors Market Tracker – 2023/2024” – Omdia 訂閱報告
• SemiAnalysis, “AI Accelerator Architecture Deep Dive” 系列 (2023‑2024) – SemiAnalysis.com
• MLCommons, MLPerf Inference Results – mlcommons.org
• Frantar et al., “SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot,” ICML 2023 & 後續相關論文 – arXiv 預印本
• PyTorch 官方文件, torch.sparse 及 torch.sparse.semi_structured 部分 – pytorch.org
• 台積電、英特爾先進封裝相關法人說明會公開簡報 (2024‑2025)
• AWS、Google雲端官方部落格中關於稀疏推論例項的釋出公告 (2024‑2025)