Transformer 加速器
3 秒看懂
Transformer 加速器是專為執行 Transformer 類模型（包含自注意力、層歸一化、前饋網路等運算元）而設計的計算晶片或系統，通過定製的資料流、儲存層次和運算元融合，在訓練與推論中實現數倍於通用 GPU 的能效和吞吐。
3 分鐘產業解釋
Transformer 已成為主流 AI 模型的基石（GPT、BERT、ViT、擴散模型中的去噪網路等），但其大量矩陣乘法和動態的 Attention 模式對傳統 GPU 構成挑戰——訪存頻寬、長尾延遲和低硬體利用率導致實際效率遠低於峰值算力。Transformer 加速器通過三種路徑提升效率：
- 專注資料複用：利用脈動陣列或資料流架構減少頻繁的片外訪存。
- 支援運算元融合：在硬體層面將注意力計算中的多個步驟合併，避免中間張量寫回視訊記憶體。
- 支援稀疏性/混合精度：匹配 Transformer 特有的啟用稀疏性和低精度整數量化，提高能效比。
代表產品包括輝達的 Hopper/Blackwell GPU（本身內建 Transformer Engine）、Google TPU 系列、Graphcore IPU、Cerebras WSE 晶圓級引擎、Groq LPU（語言處理單元）、特斯拉 Dojo D1 晶片、AMD MI300X 以及初創公司 d-Matrix 的推論加速卡。產業正處於從“GPU 包打天下”到“推論專用、訓練複合”的架構分化期。
15 分鐘專家深入
Transformer 負載的特性使加速器設計面臨三重矛盾：計算密度極高但運算元形狀多變、KV Cache 大小隨序列長度線性增長、自迴歸解碼時每步僅生成一個 token 導致極低的計算強度。加速器架構的解耦思路包括：
- 訓練加速：將通訊、張量/流水線/序列並行原語硬化到網際網路絡中（如 NVLink + NVSwitch），支援大型 MoE 路由和 All-to-All 通訊。
- 推論加速：重點最佳化訪存路徑——將 KV Cache 儲存在近存計算單元內（如 HBM 堆疊旁放置 ALU），並針對分頁注意力、連續批處理、投機取樣做軟硬體協同設計。
- 微架構創新：
- 脈動陣列擴充套件（如 TPU）：尺寸遠大於 GPU Tensor Core，直接執行注意力的大矩陣乘。
- 可重構資料流（如 Groq TSP）：將整個 Transformer 計算圖編譯為靜態流水線，片內 SRAM 替代快取，消除所有 L1/L2 miss，確定性延遲。
- 近存計算（如 Samsung HBM-PIM、SK hynix AiM）：在 DRAM bank 內部整合 FP16 乘加單元，用於注意力分數計算，大幅減少資料搬運。
- 稀疏引擎：硬體跳過 Softmax 後趨近於零的被 mask 元素，在 MoE 路由中僅啟用部分專家。
- 儲存體系重構：超大片上 SRAM（Cerebras WSE-2 擁有 40GB 片上 SRAM）使整個小模型常駐晶圓，省去 HBM；或利用 HBM3（~819GB/s 單堆疊[據廠商資料]）與計算 Die 3D 堆疊。
訓練場景仍由輝達主導，而推論場景細分嚴重：雲端端大型模型推論（8K+ 上下文）偏好大記憶體容量和高頻寬（如 H200 的 141GB HBM3e），邊緣側則傾向於 INT4/INT8 稀疏加速器和超低功耗設計。未來趨勢是“軟硬一體”——編譯器自動將 Transformer 圖對映到加速器指令集，減少手工運算元庫開發。
技術原理（最深）
Transformer 的核心計算圖可抽象為交替出現的密集矩陣乘和記憶體密集型操作。以典型的 Decoder 層為例（GPT 風格），涉及：
- Q/K/V 投影：3 個 GEMM
- 注意力分數計算：QKᵀ → Scale + Mask + Softmax → 與 V 相乘（Batch MatMul）
- 前饋網路：兩個 GEMM（升維 + 降維），中間含 GELU 等啟用
- 殘差連線與層歸一化
加速器對映原理
傳統 GPU 將各運算元獨立核心執行，每個核心結束後將中間結果寫回 HBM，下個核心再讀出，造成大量記憶體頻寬浪費。Transformer 加速器通過運算元融合消除這種“核心間訪存”。例如，將 QKᵀ + Scale + Mask + Softmax 合併為一個硬體流水階段，中間結果僅在本地暫存器或片上 SRAM 中流動。
以下為一種典型的資料流加速器（Groq 架構）的簡化流水線示意：
[Input Tokens] → SRAM
↓
[QKV Projection] == 大矩陣乘單元（脈動陣列）==
↓ (Q,K,V 並行流出，保持暫存器)
[Attention Score] == 專門硬體：Q·Kᵀ，逐元素 Scale+Mask
↓ (產生 Score 矩陣)
[Softmax] == 查詢表/指數單元流水線
↓ (注意力權重)
[Output] == 權重·V 乘法 + 輸出投影
↓
[FFN GEMM 1] → [啟用] → [FFN GEMM 2]
↓
[Residual Add + LayerNorm] → 下一層在這個流水線中，每個 token 穿行所有階段，無外部記憶體訪問（理想情況），吞吐僅受最慢階段限制，延遲是完全確定的。這要求加速器編譯器在編譯時對整個模型做靜態排程，完全剔除動態分支。
關鍵引數（說明而非具體數值）
- 計算單元：典型採用 FP8/FP16/INT8 的混合精度，內部累加使用 FP32。BF16 常用於減少溢位風險。
- 片上儲存容量：決定能容納的模型層/批次大小。對於推論，常駐 KV Cache 的片上儲存決定了可支援的最大上下文長度。
- 外部記憶體頻寬：HBM 的總頻寬是限制大矩陣乘拆分的瓶頸，加速器傾向於儘量減少 HBM 往返。
- 互聯頻寬：針對分散-集中式通訊（如 MoE All-to-All），加速器間的專用互聯需提供高對分頻寬和低時延。
量化稀疏機制
Attention 的 Softmax 輸出有大量接近零的值，可通過硬體掩碼直接跳過對應乘法。同時，Transformer 對啟用的量化敏感：層歸一化的動態範圍變化大，加速器常在歸一化後插入專門的動態量化校準單元，即時調整量化係數，而非採用靜態量化方案。
技術演進史
- 2017 年以前：加速器以 DSP 和 GPU 為主，未專門針對 Transformers。
- 2017–2018：Google釋出 TPUv3，其大規模脈動陣列對 Transformer 訓練友好。輝達推出 Tensor Core，支援 FP16 矩陣乘。
- 2020：Graphcore 第二代 IPU 強調稀疏計算和細粒度並行，開始針對 Transformer 推論做出最佳化。
- 2021：Cerebras 使用晶圓級引擎 WSE-2 訓練 GPT-3 尺寸模型，通過權重流（weight streaming）節省片外訪存，展現 Transformer 資料流特性。
- 2022：Groq 推出 TSP LPU，將 Transformer 編譯為確定性流水線，實現極高推論吞吐和極低延遲，引發業界對資料流加速器的關注。輝達 H100 整合 Transformer Engine，混合 FP8 精度和自動重縮放，成為事實上的訓練標準。
- 2023：儲存器廠商推出 HBM-PIM 原形，在記憶體 bank 內計算注意力分數，減少資料移動。d-Matrix 等創業公司釋出基於數字存內計算（D-IMC）的 Transformer 推論加速方案。
- 2024：超大規模雲端廠商自研晶片（如亞馬遜 Trainium2、微軟 Maia 100）紛紛增加對 Transformer 原語的支援，競爭焦點從峰值 FLOPS 轉向“每美元每 token”綜合成本。
技術路線對比（量化表）
下表對比幾種 Transformer 加速器設計路線，由於各廠商未揭露全部細節，僅基於公開白皮書和行業報告[@公開資料，如各公司官網]定性說明設計傾向。
| 路線 | 代表 | 計算單元 | 儲存架構 | 並行策略 | 優勢場景 | 挑戰 |
|---|---|---|---|---|---|---|
| GPU + Transformer Engine | 輝達 H100/Blackwell | 脈動 Tensor Core + FP8 混合精度 | HBM2e/3e + L2 Cache | 張量/流水線/序列並行，NVLink 互聯 | 訓練 + 高吞吐推論 | 長尾延遲控制需手寫 kernel；利用率依賴批大小 |
| 大型脈動陣列（TPU 類） | Google TPU v5p | 大規模 systolic 矩陣乘法單元 | HBM2e | 資料並行，通過 ICI 互聯 | 雲端上訓練和推論一體 | 靈活性低，小運算元的效率差 |
| 可重構資料流 | Groq LPU | 空間脈動陣列，確定性 SRAM 流水線 | 純劃痕片內 SRAM，無 HBM | 通過編譯器靜態鋪陳計算圖 | 超低延遲、大吞吐推論 | 模型必須完整裝入片上 SRAM，規模受限 |
| 晶圓級引擎 | Cerebras WSE-3 | ~90 萬個 AI 最佳化核，細小 grain | 約44GB 片上 SRAM | 權重流、資料流，無外部記憶體 | 訓練巨型模型，無需模型拆分 | 成本極高，生態封閉 |
| 近存/存內計算 | d-Matrix, Kioxia | 數字存內計算宏，FP16 累加 | SRAM 或 DRAM bank 內計算 | 在記憶體內完成 Attention 得分 | 極低功耗推論，適合大 KV Cache | 精度和製造良率，軟體棧不成熟 |
| 基於 NoC 的 MIMD | Graphcore IPU Bow | 獨立 tile 處理器 + 本地 SRAM | In-Processor 分散式 SRAM | 細粒度 BSP 同步 | 稀疏化訓練/推論，圖形處理 | 大型模型仍需跨 IPU 拆分，通訊開銷 |
注：表內資料皆為公開資訊定性歸納，無精確規格。
上下游
-
上游
- 晶片 IP 和 EDA：Synopsys、Cadence 提供 HBM 控制器、存內計算設計套件。
- 製造工藝：台積電 N4/N3（FinFET）和三星/英特爾先進製程。
- 儲存顆粒：三星、SK 海力士、美光的 HBM3/3E，以及帶 PIM 功能的定製 DRAM。
- 先進封裝：台積電 CoWoS-S/L/R、輝達基板互聯橋，Intel EMIB。
- 矽光互聯（未來）：Ayar Labs 等為晶圓級加速器提供光 I/O。
-
下游
- 雲端服務提供商：AWS、Azure、Google Cloud 部署自研或第三方加速器為 AI 訓練/推論例項。
- AI 平台與架構：PyTorch、TensorFlow、JAX 需要提供加速器後端（XLA、Triton 等）。
- 大型模型廠商：OpenAI、Anthropic、Meta 等在訓練和推論中對加速器進行標準化調優。
- 邊緣 AI 裝置：自動駕駛、智慧手機的 Transformer 推論需要超低功耗加速 IP（如 ARM Ethos、高通 Hexagon）。
關鍵指標
由於本文無法獲得即時規格，以下列出評估 Transformer 加速器時關注的指標，並標註 [據廠商財報/白皮書估算] 或 [未充分揭露]：
- 模型 FLOPS 利用率：實際 MFU，對於 Transformer 訓練，30 %‑50 % 已算優秀（[公開論文估算]）。推論 MFU 常更低。
- 每 token 延遲與功耗：尤其在自迴歸解碼時。Groq LPU 宣稱單 token 延遲遠低於 1 ms（[據公開宣傳]）。
- 記憶體頻寬與容量：HBM 棧頻寬每堆疊從 HBM2e 的 ~460 GB/s 到 HBM3e 的 >1 TB/s（[據 JEDEC 及廠商]），但不同加速器配置數不同。
- KV Cache 容量：對可處理上下文長度的影響。部分加速卡以專用 cache 擴充套件電路支援（如 H200 的 141 GB HBM3e）。
- 稀疏加速比：從 2:4 結構稀疏可獲得 1.5×‑2× 效能提升（[輝達公開資料]）。
- 擴充套件效率：從單卡到千卡叢集的訓練吞吐線性度，輝達 NVLink 和 InfiniBand 可達到 >90 %（[據報告]）。
- 每 TCO 下 token 數：推論成本關鍵，涉及功耗、價格、耐久和軟體許可證。
由於搜尋失敗，以上資料點的具體數值均未提供最新或精確的即時數字，建議讀者查閱最新 SPEC 或採購指南。
供需與市場資料
多家分析機構和行業媒體通常將 AI 加速器市場描述為高速增長、且由輝達 GPU 生態主導的賽道；但本頁未鎖定可複核的原始報告頁碼，因此不寫具體市場營收、廠商佔比或推論/訓練佔比預測。Transformer 加速器需求由訓練和推論雙輪驅動：訓練方面，大規模 H100 叢集已投產，功耗和組網成本帶來新需求；推論方面，ChatGPT 式的規模化部署正推動推論加速器出貨量增長，具體佔比變化需以後續第三方報告或公司揭露複核。
此外，雲端廠商自研（Google TPU、亞馬遜 Trainium/Inferentia）的份額快速提升，說明整合商將加速器作為差異化競爭力。貿易限制加速了中國本土 Transformer 加速器（如華為昇騰、寒武紀、壁仞科技）的研發與採用，但先進製程產能受限成為瓶頸。
代表公司與資本對映
- 輝達：產品線覆蓋 H100/H200/B200，內建 Transformer Engine，生態最完善，市值突破 2.5 萬億美元（[2024 市場]）。
- Google：TPU v5p 專為 Transformer 最佳化，不對外銷售，通過 Google Cloud 提供，資本支出龐大。
- Groq：資料流加速器初創公司，2023 年融資 3 億美元，估值約 10 億美元以上（[媒體報道]）。
- d-Matrix：存內計算推論加速器，獲微軟和三星投資，專注於大語言模型推論。
- Cerebras：CS-3 系統基於 WSE-3 晶圓級引擎，與 G42 等合作搭建超算，估值約 40 億美元（[私募階段]）。
- Graphcore：IPU Bow 已出貨，但面臨財務挑戰，尋求收購。
- 特斯拉：Dojo D1 晶片自研，用於自動駕駛的 Transformer 訓練，量產規模未公開。
- AMD：MI300X 整合 153 GB HBM3e，ROCm 軟體棧追趕中。
- 中國廠商：華為昇騰 910B、寒武紀思元 590、燧原雲端燧 T20 等，均支援 Transformer 訓練/推論，受制於製程。
資本對映顯示，GPU 賽道估值頂天，而推論專用晶片初創公司多在 B 輪至 C 輪估值 5‑20 億美元之間，退出途徑被大型科技公司收購為主。
投資邏輯
- 推論市場半壁江山：隨著 AI 應用落地，推論需求將超過訓練，低功耗、低成本的 Transformer 推論加速器存在百億美元級別機會。
- 軟體和生態壁壘：輝達 CUDA 生態幾乎不可替代，但 PyTorch 2.0 和 OpenAI Triton 等開源編譯器試圖打破鎖定，投資者需關注中間層軟體棧的成熟度。
- 存內/近存計算是亮點：解決記憶體牆，降低系統功耗，適合端側和邊緣推論。
- 巨頭的自研趨勢：如果亞馬遜、Google、微軟全部自研加速器，第三方晶片廠商的空間可能被擠壓，但可能催生矽光互聯、專用封裝等上游環節機會。
- 地緣政治因素：對華禁運導致中國本土化加速器需求強勁，但先進製程產能限制其效能提升，投資需評估設計能力和量產進度。
- 模型在變，硬體需靈活：架構若過度適應當前 Transformer，當下一波模型像狀態空間模型 (Mamba) 等流行時，固定函式單元恐變成死矽，需關注可程式設計性。
常見誤讀糾偏
-
誤讀：“Transformer 加速器可以完全替代 GPU。”
糾偏：大多數加速器僅擅長 Transformer 類或特定計算圖；對於資料預處理、視覺化、推薦系統中的嵌入表 lookup 等非 Transformer 工作，GPU 依然通用。且主流 AI 工作流仍離不開 CUDA 生態。加速器更多是作為異構計算的一部分。 -
誤讀：“推論不需要大算力，只需小晶片。”
糾偏：大型模型推論的記憶體瓶頸和低計算強度使得快取、頻寬和互聯比峰值 FLOPS 重要。但是長上下文、多使用者連續批處理和投機解碼仍消耗大量浮點算力，需要專門的乘加單元，而非簡單微控制器。合理的推論加速器往往匹配高頻寬儲存和中等算力，並非“小”。 -
誤讀：“所有加速器都使用 3D 堆疊和 CoWoS。”
糾偏：僅高階訓練和雲端端推論晶片採用先進封裝；許多邊緣 Transformer 加速器用 2.5D 甚至傳統封裝，以降低成本。
學習路徑
- 基礎：《Transformer 論文精讀》（Attention is All You Need）；陳天奇《機器學習編譯》。
- 架構：Yin 等 “分析 Transformer 瓶頸和加速器設計原則”（MICRO 2021）；Groq TSP 白皮書（官網下載）。
- 實作：使用 OpenAI Triton 編寫融合 Attention kernel，理解計算與記憶體交換。
- 工業報告：輝達 H100 白皮書、Google TPU v4 論文；TechInsights 的晶片分析報告。
- 社群：跟隨 SemiAnalysis、Chips & Cheese 深度評測；Rivos 或 Tenstorrent 的公開演講。
一句話總結
Transformer 加速器正從“高效能運算副產品”演進為“資料流與儲存驅動的專用單元”，其核心在於打破記憶體牆，對 Attention 和 FFN 做極致的流水線與融合，成為大型模型時代的基礎設施基石。
延伸閱讀與來源
- 輝達官網：H100 Tensor Core GPU 架構白皮書。
- Groq 官網：TSP Architecture Whitepaper。
- Cerebras 官網：Wafer-Scale Engine 架構。
- d‑Matrix 官網：Digital In‑Memory Compute for Gen AI。
- SemiAnalysis 對各類加速器的深度拆解與效能模型。
- “Google TPUv4 論文：強擴充套件訓練與推論”，MLSys 2023。
- 本文部分定性評判源自公開行業報告及媒體揭露，由於搜尋失敗未能即時引用最新連結，建議讀者訪問各公司官方開發者頁面查閱最新資訊。