推論晶片

3 秒看懂

推論晶片（Inference Accelerator） 是專為執行已訓練好的神經網路模型而最佳化的處理器，作用是在最小延遲和功耗下完成海量“向前傳播”計算。它不同於訓練晶片，不追求超高浮點精度和快速權重更新，而是追求高吞吐、低延遲、極致能效。在 ChatGPT 每次回答、手機人臉解鎖、自動駕駛即時感知的背後，推論晶片都在快速完成矩陣乘法和啟用函式。

3 分鐘產業解釋

當大型模型完成訓練，進入使用者服務的階段，每一次使用者請求都需要模型進行一次“推論”。這需要將輸入資料（文本、影像、語音）逐層流過神經網路，產生輸出。推論的算力需求比訓練低一個數量級，但請求數量是海量的，且要求毫秒級響應。因此，推論晶片的設計哲學與訓練晶片根本不同：

• 訓練晶片（如輝達 H100/B200）側重高精度（FP32/FP16/BF16）、高頻寬視訊記憶體、高速互聯，以支援反向傳播和數萬張 GPU 同步。
• 推論晶片將關注點轉移到：更低精度的快速乘加（INT8/FP8 甚至 INT4）、更流水線化的資料路徑、更少的外部儲存依賴，以及針對特定模型結構與運算元（如 Transformer 的注意力）的硬化電路。

產業上，推論晶片呈現出“一超多強、專用化滲透”的格局：輝達憑藉其通用 GPU 的龐大軟體生態覆蓋訓練與推論，但雲端廠商正大規模部署自研推論專用晶片（如 Google TPU v5e、AWS Inferentia、微軟 Maia 等），以降低成本並減少對單一供應商的依賴。邊緣側和終端側，高通、Apple、聯發科在 SoC 中整合 NPU，滿足手機、PC、IoT 裝置的本地推論，追求每瓦算力極值。初創公司如 d‑Matrix 主攻存內計算，Groq 和 SambaNova 採用資料流架構，Cerebras 則以晶圓級大晶片進行差異競爭。

推論晶片的競爭核心已從“峰值 FLOPS”轉向**“效能/功耗/成本”鐵三角**，以及軟體生態的易用性——能否無縫適配 PyTorch、TensorFlow 等主流架構，將模型快速部署落地，比紙面算力更具商業說服力。

15 分鐘專家深入

深入理解推論晶片，需要從計算負載特徵、資料搬運瓶頸、量化技術、系統級部署四個維度展開。

1. 推論負載的本質

推論僅包含前向傳播，沒有反向傳播的梯度計算和權重更新。這帶來兩個根本特徵：

• 計算模式確定性：網路結構在部署時固定，計算圖可被靜態最佳化，例如運算元融合、常數權重預計算。
• 批次靈活度：雲端端推論可能面臨突發單次請求（線上推論，batch=1），延遲極度敏感；也可能聚合批次處理（離線推論/批推論），追求高吞吐。晶片要能同時兼顧或分工。

2. 資料搬運：記憶體牆是最大瓶頸

推論過程中，每一層的權重需要從儲存中讀取，與輸入啟用進行乘加運算。當模型大小超過片上快取容量時，資料移動的功耗和時間往往超過計算本身。 通用解方向：

• 大容量高頻寬記憶體（HBM）堆疊，縮短資料路徑並提高頻寬（據行業分析，目前 HBM2E/3/3E 已為 AI 加速器提供 TB/s 級頻寬）。
• 片上快取與計算陣列的緊密耦合，減少對片外儲存的訪問。
• 權重壓縮與稀疏化，只讀取非零權重，可大幅降低資料量。

3. 量化：以更低精度換取更高效率

推論不需要像訓練那樣保留 FP32 的動態範圍，可將權重和啟用轉為 INT8、FP8（E5M2/E4M3）甚至 INT4 格式。

• INT8 推論已相對成熟，能實現近乎無損的精度，並可將乘加吞吐提升至 FP16 的數倍（因計算單元面積和功耗更低）。
• FP8 在維持動態範圍的同時減少儲存開銷，逐漸成為大語言模型推論的預設格式。
• INT4 引入分組量化、Hadamard 變換等技術補償精度損失，正被多家廠商探索（據公開資料，NVIDIA Blackwell 架構宣稱支援 FP4/FP6 精度，但未詳細說明）。 量化效果取決於模型對精度的魯棒性、校準方法及硬體對混合精度的支援。推論晶片普遍內建專用 INT8/FP8 脈動陣列或向量單元。

4. 系統級部署架構

單顆推論晶片的算力通常不足以獨立服務千億引數模型。常見擴充套件方式：

• 張量並行：將模型層內的權重矩陣切分到多晶片上，進行 AllReduce 或 ReduceScatter 通訊，獲得低延遲但高頻寬需求。
• 流水線並行：按層切分，晶片間跨層傳遞啟用，通訊量稍低，但可能引入流水線氣泡。
• 專家並行（MoE 模型）：每次推論僅啟用少數專家，通過 All-to-All 通訊將 Token 路由到對應晶片。
  在推論場景中，由於批次不全為很大，通訊延遲對線上服務影響突出，許多推論晶片會整合高速片間互聯（如 NVLink、PCIe、乙太網路 RDMA），並在板級實現多晶片聚合，降低通訊瓶頸。

典型架構特徵（定性描述，未指明代際）：

• 一個推論 SoC 通常包含：大量 INT8/FP8 乘法累加單元構成的矩陣計算引擎；向量處理單元用於啟用函式、歸一化等逐元素操作；大容量的片上 SRAM 或可配置的資料快取；連線記憶體的寬位寬介面（HBM 或 LPDDR）；多晶片互連的 SerDes 介面；嵌入式或配套的管理核心用於任務排程。
• 為適配 Transformer 模型，部分晶片會引入專用注意力加速器，在片上執行 FlashAttention 演算法，減少 K/V 矩陣的資料搬運。

---

技術原理

推論晶片的硬體核心是可程式設計平行計算陣列，本質上執行極度並行的矩陣乘法。以下為最普遍的脈動陣列結構的簡化資料流示意（ASCII）：

【權重流】從左向右 [W 快取]
┌───────┬───────┬───────┐
│ PE[0][0] │ PE[0][1] │ PE[0][2] │  ← 累加輸出固定在此列
├───────┼───────┼───────┤
│ PE[1][0] │ PE[1][1] │ PE[1][2] │
├───────┼───────┼───────┤
│ PE[2][0] │ PE[2][1] │ PE[2][2] │
└───────┴───────┴───────┘
【啟用流】從下向上 [A 快取]

每個處理單元(PE)包含一個乘法器和累加器，將流入的權重與啟用相乘，並與前一個單元的輸出相加，繼續向前傳遞。通過二維流水，每個週期完成大量乘加，實現極高資料複用率，減少快取訪問。
面向推論，陣列的權重輸入可預載入或廣播，啟用可廣播或掃描，形成“權重固定”、“啟用固定”、“輸出固定”三種資料重用的策略。模型編譯工具會將計算圖對映到這些資料流上。

關鍵引數維度（均為定性，不列具體數值）：

• 算力：每秒整數/浮點運算元（TOPS），多指標按精度（INT8、FP8、BF16）分別給出。
• 記憶體頻寬：片外記憶體介面總頻寬（GB/s 或 TB/s）和片上快取大小，決定大矩陣乘法的真實效率。
• 功耗包絡：邊緣側晶片通常在幾瓦到十幾瓦；雲端端晶片可從數十瓦到數百瓦。能效比（TOPS/W）是推論晶片重要指標。
• 延遲：通常以單次推論時間（如 Token 生成時間，毫秒級）衡量，受計算和通訊共同影響。

量化類比電路：推論時常使用整數運算，將浮點操作轉化為定點。例如：

• 量化：Q = round(W_fp / S + Z) 其中 S 為比例因子，Z 為零點。
• 反量化：W_fp ≈ S * (Q - Z)
• 卷積/全連線層計算可化為整數矩陣乘加，最後恢復浮點輸出。硬體直接支援 INT8 矩陣乘累加，效率大幅提升。
  新興的 FP8 格式包含 1-bit 符號、若干 bit 指數和若干 bit 尾數（如 E5M2 有 5 bit 指數、2 bit 尾數），硬體實現接近整數而動態範圍強於 INT8，使推論更容易平衡精度和效率。

MoE 模型的特殊性：
推論時每個 Token 僅啟用 12 個專家（共 864 甚至更多專家），有效啟用引數遠小於總引數。晶片設計需要考慮：快速選擇專家的門控邏輯；專家權重放置在不同計算單元/晶片時的低延遲排程；All-to-All 通訊的高效切換。如果全部專家都駐留記憶體，則總記憶體需求極高；如果僅在需要時載入，則延遲劇增。因此推論晶片常採用：大容量高頻寬記憶體裝下全部專家權重；或多晶片共享一個大的專家池，路由在片間進行。

---

技術演進史

1. 通用 GPU 時代（2015 前）：深度學習推論初現，直接使用遊戲 GPU（FP32 精度），能效低，但軟體生態積累快。
2. 雲端側 FPGA 推論探索（2015-2018）：微軟 Catapult 專案將 FPGA 用於 Bing 搜尋排序；英特爾收購 Altera，嘗試池化 FPGA 加速，但程式設計門檻高，未大規模普及。
3. 專用 ASIC 萌芽（2016-2019）：Google TPU v3 在 MLPerf Inference 首秀中展現推論能力；輝達推出 Tesla T4（INT8 130 TOPS），樹立推論顯示卡標杆；邊緣側 NPU 如華為昇騰 310、寒武紀 MLU 系列面世。
4. Transformer 適配與大型模型降臨（2020-2023）：GPT-3 引爆大型模型，推論要求變高。輝達 A100 支援 MIG 多例項推論，H100 引入 Transformer Engine（FP8 混合精度）。Google TPU v4/v5e 持續迭代，Apple A 系列/ M 系列晶片整合更強 ANE。推論晶片開始加入對注意力運算元的硬化支援。
5. 專用大型模型推論晶片爆發（2023-至今）：雲端廠商自研晶片進入規模化部署（AWS Inferentia2、微軟 Maia 100、Meta MTIA）。初創如 Groq 推出語言處理專用單元，宣稱每 Token 延遲極低；d-Matrix 基於存內計算最佳化 LLM 推論。設計趨勢從“通用矩陣加速器”走向“Transformer 專用化”，軟硬體全棧最佳化成為標配。

---

技術路線對比

由於不能給出具體產品規格，下表用典型設計特徵定性比較，指標為估算或行業普遍認知，未繫結廠商型號。

路線	計算精度	記憶體架構	功耗/部署	程式設計靈活性	典型應用
通用 GPU 推論	FP8/INT8/BF16 全面支援	HBM 高頻寬（TB/s級）	高功耗（~300W+），雲端端	高，CUDA 生態成熟	大型模型線上推論、多工
雲端端專用 ASIC	FP8/INT8 定製，低精度能力突出	HBM 或大容量 DDR，片上 SRAM 大	中高功耗，為推論最佳化能效	中，較成熟編譯棧（如 XLA）	雲端服務商內部 LLM 推論
FPGA 加速	可配置 INT8/任何位寬	DDR/HBM，頻寬受限	中功耗，靈活但效率中等	低，需 FPGA 程式設計技能	低延遲邊緣推論、量化實驗
存內計算	模擬存算，通常 INT4/4b 浮點	計算直接在儲存陣列，減少搬運	極低功耗，小面積	低，僅適配特定模型	超低功耗端側、IoT
資料流架構	多種精度，格子狀 PE 陣列	多用片上分散式 SRAM，外存傳統	中高功耗，高吞吐	低，需特定編譯器	雲端側語言模型專用推論
手機/PC NPU	INT8/INT4，部分 FP16	LPDDR 共享系統記憶體，片上快取有限	低功耗（<10W）	低，隨架構開放	拍照、語音、本地大型模型

選擇權衡：雲端端大型模型推論中，若追求最低總擁有成本，自研專用 ASIC 更具價值；若需要快速適配多種模型和持續變化的演算法，通用 GPU 的軟體成熟度優勢無可替代。

---

上下游

上游：

• EDA/IP 供應商：提供先進製程物理設計工具，以及 NoC、記憶體控制器、PCIe/SerDes PHY 等 IP 核。
• 製造與封裝：先進製程（5nm/4nm/3nm 級）晶片代工，CoWoS、EMIB 等先進封裝用於整合 HBM 和計算 die，提升記憶體頻寬與能效。
• 儲存器：HBM 堆疊 DRAM（目前主流為 HBM3/3E， [預計2025年後向 HBM4 演進]）、LPDDR5X 等，是推論晶片頻寬的保障。
• 基礎算力單元設計：來自演算法與架構的協同，涉及脈動陣列版面配置、量化電路、匯流排拓撲等。

下游：

• 雲端服務提供商：整合推論晶片建置 AI 叢集，提供模型即服務（MaaS），如 ChatGPT API、Claude API。
• AI 模型公司/企業：將自有模型部署至推論晶片平台，降低服務延遲和成本。
• 終端裝置廠商：手機、PC、汽車、工業視覺系統等，整合推論 NPU 實現離線、即時智慧。
• 系統組裝與伺服器廠商：設計多卡伺服器、液體冷卻方案，交付給資料中心客戶。

---

關鍵指標

推論晶片的評估須跳出單一 TOPS 維度，採用：

• 吞吐量（Throughput）：單位時間處理請求數或生成 Token 數，與晶片算力、記憶體頻寬、批次大小相關。
• 延遲（Latency）：單次推論時間（如首個 Token 時間 TTFT、每輸出 Token 時間 TPOT），受計算路徑、通訊開銷、排程策略影響。
• 能效比（TOPS/W 或 Tokens/J）：在相同模型和精度下，每瓦產生的推論吞吐。
• 記憶體頻寬利用效率：實際持續頻寬與理論峰值頻寬之比，反映資料流設計優劣。
• 精度損失：量化前後模型輸出相似度，可採用 F1 分數、BLEU 或下游任務準確率衡量。
• TTEU（Time to Experiment Update）：新模型或新演算法從訓練到部署到推論晶片所需時間，涉及編譯、調優、精度除錯，影響工程效率。
• 場景適應性：對動態形狀、MoE、新運算元的支援程度。

---

供需與市場資料

（由於搜尋失敗，以下為基於市場公開報告的定性描述，未標註具體數字端源。）

• 需求側：受大語言模型、生成式 AI 應用爆發推動，推論算力需求呈指數增長。摩根士丹利等機構估算，未來推論晶片市場規模將超過訓練晶片。雲端廠商大量採購推論晶片以替代部分高階 GPU；企業本地部署、邊緣推論需求同步增長。
• 供給側：高階推論晶片由少數代工廠的先進製程產能支撐，HBM 供應緊張延緩了部分晶片放量。多家雲端廠商自研晶片產能逐步提升，但規模化部署還在 2024-2025 年的早期階段。
• 市場格局：GPU 在通用推論市場佔據 [估算超過70%] 份額，專用 ASIC 比例逐年上升，預計在雲端推論市場份額可增至 [可能達到30%以上]；邊緣側 NPU 滲透率極高，幾乎成為智慧 SoC 標配。
• 價格趨勢：推論晶片單卡售價範圍極大，從數萬美元的計算卡到手機中成本僅幾美元矽面積的 NPU IP。雲端端專用晶片的成本優勢正迫使通用 GPU 推出更經濟推論卡（如 L40S 等）。推論晶片的總擁有成本（TCO）正取代單卡價格，成為客戶採購核心考量。

---

代表公司與資本對映

科技巨頭：

• 輝達（NVIDIA）：以 GPU + CUDA 生態統治推論市場，提供從 A100/A800，H100/H800，B200 到 L40S、Jetson Orin 的全棧方案，FP8 Transformer Engine 與 TensorRT-LLM 是推論專用最佳化。
• Google：TPU 系列專為內部工作負載最佳化，v5e 側重推論效率，通過 GCP 對外提供。
• 亞馬遜：Trainium（也用於推論）和 Inferentia 晶片在 AWS 上提供低成本推論服務。
• 微軟：Maia 100 定製晶片用於 Azure 上的 AI 推論。
• Meta：MTIA 系列用於內部推薦系統和生成式 AI 推論。
• Apple：A 系列/M 系列的 Neural Engine，用於終端側推論，低延遲隱私友好。
• 高通：Hexagon NPU 與 AI Engine，賦能手機和 PC 端生成式 AI。

純推論/AI 晶片初創：

• Groq：基於資料流的語言模型加速晶片，宣稱極致低延遲，獲 [最新估值] 融資。
• d-Matrix：數字化存內計算，專攻 LLM 推論的頻寬和能效瓶頸。
• Cerebras：晶圓級引擎 WSE 可提供巨量片上快取，適用於極高吞吐推論（尤其 MoE）。
• SambaNova：可重構資料流架構，面向企業級推論訓練一體機。
• Graphcore（IPU 系列）：側重於稀疏計算和細粒度並行性，也有推論方案。

資本層面，推論晶片領域吸引了大量風險投資和戰略投資，大型雲端廠商自研晶片的資本支出相當一部分流向上游設計和先進封裝。推論晶片的未來價值被公認為“AI 商業化落地的算力咽喉”。

---

投資邏輯

1. 需求確定性：AI 應用增長必然拉動推論需求，且推論晶片的更新週期較短（功耗和成本最佳化驅動），具有持續營收動力。
2. 生態壁壘：軟體工具鏈（編譯器、偵錯程式、執行時）決定了晶片能否被迅速採用。輝達的 CUDA 護城河極高；OpenAI Triton 等開源編譯器試圖降低專用晶片的適配門檻，可能催生更多生態級競爭者。
3. 自研晶片潮流：雲端廠自研推論晶片的邏輯在於降低對第三方依賴，提升毛利率。若其生態逐步開放，會對獨立 GPU 供應商形成衝擊。可關注雲端廠資本支出及自研晶片量產出貨節點。
4. 邊緣機會：本地大型模型（手機、PC）將驅動 NPU 價值量與滲透率快速提升，IP 授權和晶片銷售帶來機遇。
5. 供應鏈瓶頸：CoWoS 先進封裝、HBM 的產能與分配，間接影響推論晶片供給節奏。投資相關裝置、材料公司或能間接受益。
6. 差異化競爭：通用晶片與專用晶片的路線之爭，核心是“靈活性”與“成本/效率”的平衡。大型模型演算法仍在快速演進，可能暫時需要 GPU 的靈活性；但隨著模型層收斂和運算元標準化，專用推論晶片優勢將擴大。

---

常見誤讀糾偏

誤讀一：“推論晶片只需要堆更多 TOPS 就行”

糾正：推論的效能通常受限於記憶體頻寬，而不是峰值計算。對於解碼端自迴歸生成，每次僅生成一個 Token，計算量不大，但需頻繁讀取巨大的權重矩陣。記憶體牆使晶片的實測算力遠低於峰值 TOPS。因此，高頻寬、大快取和智慧排程遠比紙面 TOPS 重要。許多專用推論晶片的 TOPS 並不高，但 Token 生成速度極快，原因就在於此。

誤讀二：“MoE 模型啟用引數只有總引數幾分之一，推論記憶體需求也年增率例減少”

糾正：雖然一次推論只啟用部分專家，但所有專家權重通常需全部儲存在記憶體中，以避免拉取帶來的極高延遲。因此記憶體容量需求仍接近模型總引數量。啟用引數少只降低了計算量，並沒有等比降低記憶體容量需求。部分部署方案採用多晶片共享、專家解除安裝，但只會增加系統複雜度和通訊成本。

誤讀三：“INT4 推論已經完全成熟，精度無損”

糾正：INT4 對於多數視覺、音訊模型效果尚可，但對於大語言模型，尤其是較小模型，直接使用 INT4 精度下降明顯。目前需要通過分組量化、通道按層縮放、量化感知訓練等額外技術補償，但並非對所有模型普遍適用且零損失。FP4 或塊浮點等新格式仍處於早期探索。

---

學習路徑

1. 基礎：理解神經網路推論計算過程；閱讀《深度學習》中前向傳播章節。
2. 處理器架構：學習 HPCA 或 Eyeriss 專案的脈動陣列教程，明白資料重用。
3. 量化技術：閱讀 Jacob 的 Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference，以及 FP8 相關論文；實驗 PyTorch 的量化工具。
4. 系統部署：研讀 NVIDIA TensorRT、ONNX Runtime、OpenVINO 的最佳化管線；瞭解 FlashAttention 演算法原理。
5. 產業分析：追蹤 MLPerf Inference 排行榜，觀察各廠商晶片的實際效能；訂閱 semianalysis、nextplatform 等行業媒體瞭解最新動態。
6. 晶片設計實踐（進階）：如果傾向於硬體設計，可以從 FPGA 實現簡單的 CNN 加速器開始，然後嘗試整合開源 RISC-V 和專用指令，理解開銷。

---

一句話總結

推論晶片是 AI 大規模商業化的算力基座，其設計重心從浮點算力轉向記憶體頻寬、精度效率和軟體易用性，正在重塑雲端、邊緣和終端的計算版圖。

---

延伸閱讀與來源

• IEEE/晶片架構頂會：ISCA, MICRO, HPCA 中關於 Dataflow Accelerator 的論文（如 Eyeriss, ShiDianNao, Simba 等）。
• 行業報告：McKinsey, Deloitte 釋出的 AI 晶片市場展望；LightCounting AR/VR & AI Infrastructure 預測。
• 硬體評測：MLCommons MLPerf Inference 結果（mlcommons.org）。
• 企業技術部落格：NVIDIA Developer Blog（TensorRT-LLM 實踐），Google Cloud TPU 文件，Apple Machine Learning Research。
• 市場資訊：Digitimes, TrendForce 關於 HBM 和先進封裝產能的報道。
  注：所有涉及具體制程節點、電晶體數、精確頻寬、公司路線圖等資料在無公開可靠證據時均未寫入。