AI 加速器

3 秒看懂

AI 加速器是專為人工智慧計算(尤其是矩陣運算)深度最佳化的專用硬體處理器。它能以遠超通用 CPU 的能效比完成大型模型訓練與推論任務，是生成式 AI 時代的物理算力底座。

3 分鐘產業解釋

傳統 CPU 受限於馮·諾依曼架構的“儲存牆”與低並行度，處理 Transformer 等模型上億次矩陣乘法時，大量時間與能耗浪費在資料搬移而非計算上。AI 加速器通過三項核心設計打破瓶頸：

① 大規模平行計算陣列：如脈動陣列與張量核心，在一個時鐘週期內完成數千至數十萬次乘加運算(MAC)，實現運算密度數量級躍升。

② 高頻寬近存計算記憶體：以 HBM(高頻寬儲存器)為代表，將 DRAM 堆疊在計算晶片旁並通過矽中介層直連，提供 TB/s 級訪存頻寬，大幅壓低資料移動延遲與功耗。

③ 低精度數值格式：廣泛採用 FP16/BF16/INT8/FP8 等低精度資料格式，在保持模型精度的前提下實現吞吐量成倍提升。

當前主流加速器形態呈多元分化：GPU(通用圖形處理器疊加張量核心，生態最完善)、ASIC(全定製，如 Google TPU 系列、Amazon Trainium 系列)、FPGA(可程式設計門陣列，面向低延遲低功耗推論)以及NPU(嵌入式神經網路處理器，廣泛部署於手機、汽車等端側裝置)。產業核心驅動力來自三個方向：大型模型引數規模持續指數增長、雲端廠商自研降本帶來的第二供應源需求，以及邊緣側即時推論對能效比的極致要求。

技術原理

從矩陣乘法到脈動陣列

深度學習的核心運算是通用矩陣乘：C = α × A × B + β × C。通用 CPU 通過多級快取和 SIMD 向量化最佳化此類運算，但面對 GPT 類模型動輒上萬維的矩陣仍力不從心。AI 加速器的根本解法是脈動陣列，一種由大量處理單元(PE)構成的二維網格，資料像波浪般流過陣列，每個 PE 完成乘累加後將部分和傳遞給相鄰單元，整體以極高吞吐完成矩陣運算。

 權重固定(Weight Stationary) 資料流示意:
        W[0,0]   W[0,1]   ...
        ┌───▼──┐ ┌───▼──┐
  A[0]►│PE00  │►│PE01  │► ...  → 部分和向下傳遞
        └──┬───┘ └──┬───┘
  A[1]►│PE10  │►│PE11  │► ...
        └──┬───┘ └──┬───┘
           ▼         ▼
        部分和累加後輸出

權重預製在 PE 內，輸入啟用自左向右流動，部分和從上向下流動並累加。一個 N×N 脈動陣列每時鐘週期完成 N² 次乘加運算，與通用處理器的單指令標量乘法相比，能效比呈數量級優勢。

計算密度與記憶體頻寬的博弈

AI 加速器設計始終圍繞一條基本不等式：
所需算力 ≤ 可用記憶體頻寬 × 計算密度
其中計算密度指從記憶體讀取 1 位元組資料平均可完成的浮點運算次數。矩陣乘的計算密度與矩陣維度成正比。若計算密度過低，PE 陣列將頻繁空轉等待資料，實際利用率急劇惡化。分塊尺寸的選取本質是在計算密度與片上 SRAM 容量間做折衷。

混合精度訓練與 FP8

以 BF16 混合精度訓練為例：前向傳播以 BF16 儲存權重與啟用以減半訪存量，反向傳播梯度仍以 FP32 累加保證更新精度，同時維護一份 FP32 主權重複製。FP8 進一步採用 E4M3/E5M2 兩種格式組合：前向使用 E4M3 追求更高精度，反向使用 E5M2 獲取更大動態範圍，要求加速器內整合精細的轉換與縮放硬體邏輯。

稀疏流水線

結構化稀疏(如 2:4 結構)要求權重矩陣每 4 個連續值中至少存在 2 個零。加速器通過稀疏索引、非零元素揀選單元及負載均衡排程，在記憶體讀取階段即過濾零值，節省視訊記憶體頻寬併成倍提升有效吞吐。非結構化稀疏因零值分佈任意，更依賴專用稀疏矩陣乘法引擎，通用加速效果遠低於結構化稀疏的標稱倍數。

片間互聯與擴充套件域

萬億引數大型模型無法裝入單卡，必須通過域內高速互聯(如 NVLink、Infinity Fabric)把 8–256 張加速卡構成高頻寬域，再通過 InfiniBand/RoCE 等跨節點互聯實現擴充套件。張量並行在卡間進行 AllReduce 或 ReduceScatter 集合通訊，通訊頻寬需與算力嚴格匹配以規避“通訊牆”。部分架構將網路交換器與計算單元緊耦合，使計算與集合通訊流水重疊以隱藏延遲。

技術演進史

• 2006–2012，通用 GPU 時代：NVIDIA 推出 CUDA 平台使開發者能以類 C 語言排程 GPU 眾核進行大規模平行計算。2012 年，AlexNet 使用 GTX 580 訓練並以壓倒性優勢贏得 ImageNet 競賽，標誌著 GPU 成為深度學習預設加速工具。

• 2015，專用 ASIC 破繭：Google 釋出第一代 TPU，專為推論設計，採用 INT8 脈動陣列，能效比遠超同期 GPU。後續 TPUv2/v3 引入 HBM 及訓練能力，並率先支援 BF16 格式。

• 2017–2020，張量核心普及：NVIDIA Volta 架構引入第一代張量核心，提供 FP16 矩陣乘累加硬體指令；Ampere 架構進一步支援 BF16/TF32/結構稀疏。同期 AMD 推出 CDNA 架構，英特爾 Habana Gaudi 系列入局。

• 2021–至今，異構整合與系統級競爭：Chiplet 異構整合、先進封裝(如台積電 CoWoS)成為競爭焦點。NVIDIA 從單 GPU 走向 Grace-Hopper Superchip 及整機櫃級 DGX/B200 系統。微軟、亞馬遜、特斯拉相繼推出自研訓練/推論晶片，AI 加速器從“顯示卡”演變至涵蓋晶片、互聯、軟體的全棧系統。

關鍵引數

• 精度與算力：BF16/FP16/FP8 TFLOPS(訓練)，INT8/FP8 TOPS(推論)。廠商宣傳的“稀疏算力”通常針對 2:4 結構化稀疏場景，需對標同精度稠密算力做比較。
• 記憶體頻寬與容量：HBM 頻寬(TB/s)決定大 batch、長序列推論吞吐上限；容量(GB)決定單卡可容納的模型引數量與批尺寸。
• 片間互聯頻寬：單域內(如 NVLink Switch) GPU 間雙向總頻寬，直接影響張量並行的擴充套件效率。
• 能效比：FLOPS/W(每瓦浮點算力)，是資料中心 TCO(總擁有成本)的核心影響因子。
• 首字延遲：推論場景中從請求到首字輸出的延時，與批處理大小、流水線級數強相關，對對話式 AI 等互動場景至關重要。
• 軟體棧成熟度：架構支援範圍(PyTorch/TensorFlow/JAX)、運算元覆蓋率、編譯器最佳化水平，決定實際部署效率。

技術路線

路線	代表產品	峰值算力定性	能效比	程式設計靈活性	適用場景	軟體生態成熟度
通用 GPU+張量核心	NVIDIA H100/H200/B200， AMD MI300X	極高，千 TFLOPS 級	中	高(CUDA，ROCm)	雲端訓練與推論	最成熟
訓練/推論 ASIC	Google TPU v5p， Amazon Trainium2， Intel Gaudi3	極高，匹配同代 GPU	高(定製架構)	低(架構限定)	雲端規模訓練推論	封閉但深度最佳化
可重構加速器(FPGA)	AMD Versal， Intel Agilex	中等，數百 TOPS	極高(稀疏與低延遲)	低(HDL/HLS)	低延遲推論、網路加速	專業性強，工具鏈門檻高
晶圓級引擎	Cerebras WSE-3	單晶片算力極致高	高(片內頻寬巨大)	中(專用棧)	科研級大批次訓練	較窄，客戶群有限
邊緣 NPU	Apple Neural Engine， 高通 Hexagon， 華為達芬奇	數至數十 TOPS	極高(mW 級)	低(固定 SDK)	手機、攝像頭、汽車	端側最佳化，通用性差

上表為定性相對位置。同代產品在模型結構、精度設定及 batch size 等變數下的實際表現差異顯著，準確數字需查閱第三方獨立評測(如 MLCommons MLPerf 結果)。

上游

• EDA 與 IP：Cadence、Synopsys 提供先進製程設計工具；Arm 提供 Neoverse 等高效能介面 IP 核。截至 2025 年 7 月，公開資料未顯示 EDA 工具在 AI 加速器細分市場的獨立營收口徑。
• 先進製程製造：台積電、三星的先進製程(高效能運算節點)是 AI 加速器的工藝底座。據 TrendForce 2024 年第四季度報告，台積電在 AI 加速器相關先進製程(7nm 及以下)的全球代工份額估計超過 90%[行業估算]。
• 先進封裝：台積電 CoWoS、InFO 等 2.5D/3D 封裝是 HBM 與計算晶片整合的主流路徑。台積電 2024 年全年 CoWoS 總產能較上年增長超 100%[公司財報與行業估算]，但截至 2025 年上半年高階 CoWoS 產能仍供不應求。
• HBM 儲存器：三星、SK 海力士、美光三足鼎立。TrendForce 2024 年第四季度資料顯示：SK 海力士佔據 HBM 市場約 53% 份額，三星約 35%，美光約 12%[行業估算]。HBM 堆疊層數與量產良率直接影響 AI 加速卡的交付能力與整卡成本。

下游

• 雲端運算廠商：微軟 Azure、AWS、GCP、Oracle 是高階加速器最大批次採購方。根據各公司 2024 年第四季度財報口徑，四家雲端廠商 2025 年合計計劃 CAPEX 展望超過 2400 億美元，其中相當比例指向 AI 基礎設施[公司財報及公開展望]。
• AI 原生企業：OpenAI、Anthropic、Meta 等大型模型領先者是高階訓練叢集的核心終端使用者，部分企業同時自研推論晶片以最佳化長期 TCO。
• 企業級 AI 部署：金融、醫療、自動駕駛等領域，以推論伺服器與邊緣盒子為主要形態。公開資料未見 2024–2025 年該細分市場在中國區的單獨立項資料。
• 端側裝置：智慧手機(SoC 整合 NPU)、智慧攝像頭、ADAS 域控制器對功耗與成本極度敏感，形成獨立的端側加速器需求閉環。

受益公司

• NVIDIA：AI 加速器主導廠商，Hopper 架構及後繼 Blackwell 產品線在訓練市場佔據絕對領先份額。CUDA 生態構成的軟體遷移壁壘是核心護城河。
• AMD：Instinct MI300X 系列採用 Chiplet 架構整合 CPU 與 GPU，ROCm 生態在 PyTorch 架構支援上顯著改善，近期獲多家雲端廠商採納為第二供應源。
• Intel：Habana Gaudi 系列主打高能效與整合乙太網路互聯；Falcon Shores 推進 XPU 融合戰略。截至 2025 年 7 月 AI 加速器市場份額仍較小。
• 自研 ASIC 雲端廠商：Google TPU 系列通過 GCP 對外提供算力；Amazon 推出 Trainium2 與 Inferentia 繫結 AWS；微軟 Maia 100 逐步部署。這些自研晶片拉動博通、Marvell 等定製化 ASIC 設計服務需求。
• 博通與 Marvell：受益於雲端廠商 ASIC 定製趨勢，提供高速 SerDes、晶片互聯 IP 及後端設計服務。博通 2024 財年 AI 相關營收約佔總營收 15%–20%[公司財報與公開報道]。
• 先進封裝與測試：台積電先進封裝、日月光、安靠等封測龍頭，以及為 CoWoS 提供中介層檢測等服務的裝置廠商，受益於矽中介層及先進封裝產能擴張。產能資料已在“上游”部分列示。
• 中國本土產業鏈：華為昇騰系列已形成訓練推論全棧能力，受益於地緣格局變化下本土替代預期，但在先進製程和軟體生態方面與前沿梯隊仍存在公開可查的差距(見“風險”部分的出口管制細目)。

市場規模

• 據第三方市場研究機構 IDC 2025 年第一季度估算，全球 AI 加速器(含 GPU、ASIC、FPGA)2024 年總市場規模約 1150 億美元，年增率增長約 55%[行業估算]。預計 2028 年市場總值可能達到 2800–3000 億美元的範圍，對應五年複合年增長率約 20%–25%[行業估算]。
• 訓練與推論的份額結構正在變遷：NVIDIA 執行長黃仁勳在 2024 年第四季度財報電話會議中表示，公司當季推論相關營收約佔資料中心營收的 40%[公司財報與公開電話會議], 反映推論需求佔比顯著上升。
• 據 TrendForce 2025 年第一季度報告，中國本土 AI 加速器市場規模(不含經由第三方的受限渠道)在 2024 年約 110 億美元，受益於國產替代政策推動[行業估算]。

風險

• 供給瓶頸風險：高階 CoWoS 封裝與 HBM3E 良率不足可能導致主力產品交付週期延長，先進製程產能集中於少數供應商的格局在 2027 年前難以根本改變。
• 出口管制風險：美國商務部工業安全域性(BIS)於 2023 年 10 月及後續多次更新對華先進半導體出口管制規則，直接限制中國獲取高效能 AI 加速器及核心製造技術的渠道，同時推動本土替代產業鏈的加速重整。
• 技術路線不確定性：ASIC、Chiplet、存內計算、光學互聯等多種技術路線並行演進，特定架構可能因工藝或生態制約被邊緣化，長期鎖倉單一技術路徑存在風險。
• 庫存與 CAPEX 週期風險：雲端廠商 AI 領域 CAPEX 若出現節奏性放緩或階段性產能集中釋放，可能導致中低端加速器出現暫時性過剩，影響相關廠商盈利。
• 軟體棧碎片化：多個自研 ASIC 的軟體棧與 CUDA 生態不相容，開發者遷移意願與生產力是中長期面臨的共同風險。開源架構(如 Triton 語言、PyTorch 2.x)的進展對競爭格局有較大影響。

常見誤讀糾偏

• “AI 加速器就是 GPU”：錯誤。GPU 只是目前最流行的形態，Google TPU、Amazon Trainium 等 ASIC 同樣廣泛用於訓練與推論，端側 NPU 的架構與 GPU 完全不同。
• “標稱 TOPS 越高，實際推論越快”：實際效能更大程度上受記憶體頻寬、編譯器利用率及模型計算密度約束。大量標稱 TOPS 在真實推論負載中利用率不足 30%，延遲與吞吐可能不如頻寬更優的競品。
• “訓練與推論可無差別共用同一款加速器”：雖可共用，但效率折損顯著。訓練側重高精度(FP16/BF16)與高視訊記憶體容量，推論側重低精度(INT8/FP8)與低延遲，專門推論晶片可實現數倍能效優勢。
• “稀疏化能直接翻倍實際算力”：僅當模型經專門稀疏預訓練且硬體支援相應指令時才成立。直接對預訓練稠密模型做結構化剪枝通常伴隨明顯精度損失，非結構化稀疏的通用硬體加速效果遠低於理論值。

最新事件

• NVIDIA Blackwell 平台釋出與量產：2025 年 GTC 大會上，NVIDIA 公佈 Blackwell Ultra 系列細節，並通過整機櫃級 NVLink Switch 實現 576 GPU 全互聯。B200/B100 系列在 2025 年第二季度進入大規模出貨[公司公開資訊]。
• AMD MI400 路線圖更新：AMD 在 2025 年 Computex 上預告 MI400 系列將採用 3nm 工藝與新一代 CDNA 架構，計劃 2026 年下半年量產[公開報道]。
• 微軟 Maia 與Google TPU 進展：2025 年 5 月，微軟宣佈 Maia 100 已在 Azure 部分割槽域上線用於 GPT 類模型推論；Google釋出 TPU v6 路線圖並在 2025 年 I/O 大會中揭露初步規格[公司公開資訊]。
• 中國大陸加速器進展：2025 年上半年，華為昇騰 910C 在國內大客戶中進入規模部署階段，但公開資料未揭露出貨量的獨立可核驗資料；美國 BIS 於 2025 年 4 月進一步細化對華晶片出口管控細則[行業公開資訊]。

追蹤指標

• 季度出貨量與營收：NVIDIA、AMD 資料中心 GPU 的季度營收、單位出貨量及 ASP 變動趨勢(源自兩家公司定期財報)。
• 雲端廠商 CAPEX 與自研比例：微軟、AWS、GCP、Meta 季度 CAPEX 明細及自研加速器的部署份額公開資訊(公司財報與電話會議)。
• MLPerf 基準測試結果：MLCommons 組織的訓練與推論評測，提供跨廠商、跨架構的標準化效能與能效對比(MLPerf 官方結果列表)。
• HBM 與先進封裝產能：SK 海力士、三星、台積電的擴產展望和產能利用率資料(TrendForce、Digitimes 研究報告)。
• 出口管制政策更新：美國 BIS 及盟國對先進半導體和製造工具的出口管制公告，直接改變中國市場的供給結構與價格體系。
• 開源架構適配進度：PyTorch、JAX、Triton 語言等對非 NVIDIA 加速器的原生支援進展，是抑制或助推軟體棧碎片化風險的先行指標。

信源

本頁內容綜合自以下公開資訊源，關鍵口徑與年份已在正文逐條標註：

1. NVIDIA 季度財報與 GTC 公開材料(2023–2025)，AMD 及英特爾財報與架構釋出資料。
2. Google Cloud TPU 系統架構文件，微軟、Amazon 自研晶片公開部落格。
3. MLCommons MLPerf Training/Inference 基準測試結果(2023–2025)。
4. TrendForce、IDC、Counterpoint 等第三方研究機構關於 AI 加速器、HBM 及先進封裝的行業報告。
5. 美國商務部工業安全域性(BIS)出口管制相關公告(2023–2025)。
6. 學術文獻：Google TPUv1(ISCA 2017)、TPUv4(MLSys 2023)及 NVIDIA 架構白皮書。

注意事項：部分規模與份額數字源自行業估算，標註為[行業估算]以區別於公司財報的確定性資料；本頁不構成任何投資建議，具體決策需參考原始公告及獨立第三方評估。