AI ASIC
3 秒看懂
AI ASIC（Application‑Specific Integrated Circuit，AI 專用積體電路）是為 AI 訓練/推論定製的晶片，核心邏輯是“砍掉圖形、影片等通用單元，用專用脈動陣列和高頻寬記憶體換能效”。與同代旗艦 GPU 相比，典型 AI ASIC 在 Transformer 類模型上的每瓦吞吐量（TFLOPS/W）可高出 1.5 倍以上，代表產品包括 Google TPU v5p/v5e、AWS Trainium2/Inferentia2、微軟 Maia 100、Meta MTIA v2 及字節跳動等自研晶片。
3 分鐘產業解釋
大型模型時代算力需求指數攀升，單卡功耗突破 700 W，雲端廠商（Hyperscalers）每年採購百萬張級加速卡，對總擁有成本（TCO）、軟硬體一體化、部署密度極度敏感，因此沿著“購買 GPU → 自研 ASIC”的路徑，定製專屬於自己的 AI 晶片。
產業鏈分工清晰：
- 需求方與架構定義：Google、亞馬遜、微軟、Meta、位元組等負責晶片規格、上層編譯棧和分散式架構；
- 設計服務與後端實現：博通（深度參與 Google TPU、Meta MTIA 等）、Marvell（AWS Trainium/Inferentia）、世芯電子、創意電子等提供物理設計、IP 整合、量產管理；
- 製造與封裝：台積電 7 nm~3 nm 工藝與 CoWoS 先進封裝絕對主導，SK 海力士、三星、美光供應 HBM；
- 軟體生態：自研編譯器（XLA、Triton 分支等）、執行時與集合通訊庫，對接到 PyTorch/JAX 等架構。
AI ASIC 正將高階 AI 晶片從“輝達定義硬體、全行業適配”的單極格局，拓展為一超多強的競爭局面。博通管理層在 2024 年 12 月公開電話會上指出，其三大超大規模客戶到 2027 年的 AI ASIC 可服務市場（SAM）預計為 600–900 億美元（口徑：三大客戶自研晶片的晶片總投入，包括設計、製造、封裝等成本；來源：Broadcom Inc. Q4 FY2024 Earnings Call, Dec 2024）。
技術原理
核心計算引擎：脈動陣列
脈動陣列（Systolic Array）是矩陣乘法的硬體實現範式，資料以“心跳”節奏在二維處理單元（PE）陣列中流動，每個 PE 執行乘加：acc += A_ik * B_kj。Google TPU v4 內建 128×128 的 MXU（矩陣乘累加單元），每個週期可完成 16,384 次 BF16 乘加（等效 32,768 次浮點運算），v5p 進一步放大計算規模。
┌───────────────────────────┐
│ b0,0 b0,1 b0,2 ... │ ← B 矩陣列流入
│ a1,0 PE00──PE01──PE02 │
│ a2,0 │ │ │ │
│ ... PE10──PE11──PE12 │
└─────────┴─────┴─────┴──────┘
A 行橫向移動，B 列縱向移動，
每個 PE 本地累積結果。相對於 GPU Tensor Core 仍依賴通用暫存器檔案，脈動陣列極大減少了全域性資料搬運能耗，因此能效比佔優。同時，現代 AI ASIC 普遍整合 BF16/FP8 混合精度、細粒度結構化稀疏（可跳過零值），進一步放大有效算力。
記憶體與互聯
- HBM 堆疊：TPU v5p 估算配備 2~3 堆 HBM2e/3，總頻寬約 2.4 TB/s（公開資料未見精確值，行業估算）；AWS Trainium2 的 HBM 頻寬達數 TB/s。
- 片間互聯（ICI）：TPU 通過自研 ICI 和光電路交換器（OCS）建置 3D Torus 拓撲，4096 片 TPU v4 的 bisection 頻寬約 529 TB/s（來源：Google TPU v4 MLSys 2023 論文），使 AllReduce 集合通訊近乎無瓶頸。
- 片上網路：具備多播、歸約加速單元，部分 all‑reduce 在軸向直接完成，降低跨晶片通訊量。
MoE 等新範式的適應
張量並行切分仍大量使用 AllReduce，MoE 的 All‑to‑All 通訊需依賴高速互聯與集合通訊庫最佳化。Google Pathways 等軟體層將 TPU Pod 抽象為一臺巨型裝置，底層編譯器（XLA）自動插入通訊與計算重疊，使 MoE 路由在 TPU 上高效執行。
關鍵引數
衡量 AI ASIC 競爭力需關注以下維度的公開指標，表中資料均標註年份與來源：
| 引數 | 典型規格 | 年份/來源 |
|---|---|---|
| BF16/FP8 峰值算力 | TPU v5p: BF16 約 459 TFLOPS；Trainium2: FP8 數百 TFLOPS；Maia 100: 公開資料未見精確值 | Google Cloud TPU v5p 文件 (2024)；AWS re:Invent 2023 釋出 |
| HBM 容量與頻寬 | TPU v5p 估算約 95 GB HBM2e/HBM3，頻寬約 2.4 TB/s（行業估算）；Trainium2 單晶片 96 GB HBM，頻寬數 TB/s | SemiAnalysis 2024 評估；AWS 官方部落格 |
| 能效比 (TFLOPS/W) | TPU v4 約 1.8–2.0× 同代 GPU（A100），v5p 進一步最佳化；實際模型級能效受編譯和負載影響 | Google TPU v4 論文 (MLSys 2023) |
| 片間互聯頻寬 | TPU v4 ICI 每鏈路 50 GB/s，單個晶片 3 條鏈路共 150 GB/s；OCS 實現 4096 片全互聯 | 同上論文 |
| 工藝節點 | 7nm（TPU v4）、5nm/4nm（v5p、Trainium2、Maia 100 等） | 各公司公佈資訊 |
| 軟體支援精度 | BF16、FP8、INT8、稀疏加速；部分支援 FP4 推論 | 公開資料（Google、AWS） |
| 最大系統規模 | TPU v5p 可組 8960 片叢集；AWS Trainium2 目標數萬片 | Google Cloud (2024)；AWS re:Invent 2023 公告 |
| 編譯器棧 | XLA（Google）、Neuron Compiler（AWS）、Triton 或自研（Maia/MTIA） | 各公司開發者文件 |
說明：部分引數如 Trainium2 實測算力尚未完全公開，表中“數百 TFLOPS”基於 AWS 預先發布。所有數字均基於廠商 2023‑2024 年公開資料或權威行業分析，凡無法確認處已註明“估算”或“公開資料未見”。
技術路線
AI ASIC 技術演進大致分為四個階段：
- 推論專用（2015‑2018）：Google TPU v1 僅做推論，脈動陣列規模 256×256（INT8），用於語音搜尋和 AlphaGo。AWS Inferentia 於 2019 年面世。
- 訓練能力擴充（2019‑2021）：TPU v2/v3 引入 BF16、HBM 和 TPU Pod，開始大規模訓練，AWS 推出 Trainium。
- 光互聯與系統級最佳化（2022‑2024）：TPU v4 搭載 OCS，系統效率大幅提升；TPU v5p/v5e 分化訓練/推論最佳化版；微軟 Maia 100 和 Meta MTIA v2 啟動。博通、Marvell 加速提供設計服務，3nm/5nm 工藝流片。
- 3nm/2nm + 超大規模叢集（2025+）：AI ASIC 將整合更大 HBM 堆疊，單顆算力朝 1 PFLOPS 邁進，10 萬卡級叢集將部分替代 GPU 需求。Chiplet 和 UCIe 互聯使多 die 整合成為可能，設計服務商推出標準化 AI‑ASIC 平台。
技術路線概覽表（年份對應首個商用版本）：
| 時間 | 代表產品 | 工藝 | 關鍵架構特徵 | 定位 |
|---|---|---|---|---|
| 2015‑2018 | TPU v1, Inferentia | 28nm / 16nm | 小型脈動陣列，無 HBM | 推論 |
| 2019‑2021 | TPU v3, Trainium1 | 16nm / 7nm | HBM，ICI，支援 BF16 訓練 | 訓練+推論 |
| 2022‑2024 | TPU v4/v5p, Trainium2, Maia 100, MTIA v2 | 7nm / 5nm | 光交換器，FP8，編譯器成熟 | 大規模訓練+推論 |
| 2025+ | 次代 TPU, 3nm ASIC | 3nm/2nm | Chiplet，超大 HBM，UCIe | 超大規模 Pod |
上游
- IP 與 EDA 工具：Arm 提供 CPU 核心（用於控制平面與標量核），Synopsys 和 Cadence 提供 DDR/PCIe/HBM PHY、高速介面 IP 及驗證平台。
- 設計服務：博通（AVGO）為 Google TPU、Meta MTIA 及另一未揭露客戶提供從架構到流片的完整服務；Marvell（MRVL）承接 AWS Trainium/Inferentia 及微軟 Maia 的部分後端設計；世芯電子（Alchip）、創意電子（GUC）等獲得部分二線或區域性專案。博通在 2024 年 12 月財報電話會中揭露，本財年內 AI 相關營收超過 120 億美元，其中定製 AI 晶片（含 TPU 等）貢獻最大（來源：Broadcom Q4 FY2024 Earnings）。
- 製造：台積電壟斷 7nm 以下先進製程與 CoWoS-S/R/L 封裝，2024 年 CoWoS 月產能約 35,000–40,000 片（晶圓），預計 2025 年將翻倍至 70,000 片以上，但 AI 晶片需求旺盛導致持續供不應求（來源：台積電 2024Q3 法說會及 Digitimes 報道）。
- HBM 供應商：SK 海力士市佔率約 53%（2023 年，來源：TrendForce），三星約 38%，美光約 9%，三家均積極擴產 HBM3E，供給依然偏緊。
下游
AI ASIC 的最終使用者主要是自研晶片的雲端大廠，以及通過雲端服務間接使用的企業和開發者：
- 第一方部署：Google雲端用 TPU 訓練 Gemini、PaLM 等大型模型併為 GCP 客戶提供 TPU 例項；AWS 用 Trainium/Inferentia 支撐 SageMaker 及 Bedrock 等 AI 服務；微軟 Azure 在 2024 年已部署 Maia 100 加速器用於內部推論與訓練任務；Meta 將 MTIA v2 部署於自身資料中心以加速推薦系統和生成式 AI；字節跳動自研 ASIC 已流片測試，預計 2025 年小批次部署於推薦和推論場景（來源：The Information 2024 年報道、各公司財報）。
- 雲端服務開放：Google雲端在 2024 年提供 TPU v5p 和 v5e 租用，AWS Trainium2 例項於 2024 年底上線。
- 整合商：戴爾、超微（Supermicro）等 ODM 正在適配 AI ASIC 伺服器，用於企業級訓推一體機。
- 規模資料：據行業估算，截至 2024 年底，Google內部的 TPU v4/v5 等效部署量已超 300 萬片（來源：SemiAnalysis, 2024 年估算），AWS Trainium/Inferentia 總量超百萬晶片。
受益公司
以下企業因 AI ASIC 趨勢在業務上關聯密切（僅客觀陳述，不作投資建議）：
- 博通 (Broadcom, AVGO)：全球最大 AI ASIC 設計服務商，深度繫結Google、Meta 及位元組（第三家已確認），2024 財年 AI 相關營收超過 120 億美元（來源：Broadcom FY2024 10-K & Q4 Call）。其定製晶片業務的客戶轉換成本極高，多代產品迭代形成長期合約。
- Marvell (MRVL)：通過收購 Avera 獲得 ASIC 能力，拿下 AWS Trainium/Inferentia 後端設計並擴充套件到微軟 Maia 專案。公司 2024 年 AI 晶片業務營收年增率大增，表示未來數年 ASIC 業務年增速將超 100%（來源：Marvell 2024 年 10 月投資者日）。
- 台積電 (TSM)：先進製程和 CoWoS 封裝為該趨勢的共同受益者，每片 3nm 晶圓平均售價高於 5nm，AI 相關營收佔比在 2024 年已近 20%（來源：台積電 2024 年第三季財報）。
- 世芯電子 (Alchip, 3661.TW)：承接部分北美及中國客戶的 AI ASIC 後端設計，尤其在 7nm/5nm 領域，2023‑2024 年營收大幅增長。
- 創意電子 (GUC, 3443.TW)：隸屬台積電聯盟，提供設計服務與 2.5D/3D 封裝設計，受惠於二線雲端廠和晶片初創公司的 ASIC 需求。
- 終端雲端廠商：
- Google (Alphabet)：自研 TPU 降低了 AI 推論與訓練的 CapEx 成本，同時通過雲端服務形成營收閉環。2024 年 Google Cloud 營收中 TPU 相關的加速計算份額提升。
- 亞馬遜 (Amazon)：Trainium/Inferentia 系列增強了 AWS 的差異化競爭力，2025 年有望承載更多 Anthropic 等外部大型模型訓練任務。
- 微軟 (Microsoft)：Maia 100 已部署於 Azure 內部，配合 Cobalt CPU 提升能效，降低對第三方 GPU 的依賴。
- Meta：MTIA 專注推薦系統和內部生成式 AI，2024 年 MTIA v2 開始小批次應用，節省部分 GPU 採購支出。
- 字節跳動：自研 AI ASIC 旨在降低大規模推薦和推論的 TCO，據 2024 年公開報道已進入流片階段。
市場規模
整體 AI 晶片市場
據第三方機構統計，2024 年全球 AI 晶片（含 GPU、ASIC、FPGA）市場約 700–900 億美元（綜合 Omdia 和 SemiAnalysis 2024 年報告口徑），預計 2027 年將超過 1800 億美元。其中 AI ASIC 細分市場在 2024 年估計約 80–120 億美元（含訓練和推論晶片的定製矽成本，來源：估算基於博通 AI 營收、Marvell 資料和客戶部署量交叉驗證）。
博通對 ASIC 可服務市場的量化
博通在 2024 年 12 月的投資者溝通中給出明確範圍：其三大客戶（Google、Meta 及另一未揭露）到 2027 年對 AI 晶片的總投入（包含晶片設計、製造、封裝等，不包含伺服器其他 BOM）將達到 600–900 億美元可服務市場（SAM）（來源：Broadcom Q4 FY2024 Earnings Call, 12/12/2024）。該資料被視為 AI ASIC 未來規模的基準展望。
結構分解
- 訓練晶片：目前 ASIC 訓練佔比約 15‑20%（2024 年，來源：第三方分析），受益編譯器和互聯成熟，有望在 2027 年升至 30% 以上。
- 推論晶片：預計增長更快，因推論需求爆發且對延遲靈活性要求相對低，Meta 推薦系統、位元組推薦/搜尋等全力轉向 ASIC。
- 區域：北美佔據 80% 以上 ASIC 消耗，中國大陸受限於先進製程，華為昇騰、寒武紀等主打國產替代，市場規模較小。
玩家對比
選取 2024 年已大規模部署或即將部署的主要 AI ASIC 與代表性 GPU 進行引數與生態對比：
| 特性 | Google TPU v5p | AWS Trainium2 | 微軟 Maia 100 | Meta MTIA v2 | NVIDIA H100 SXM |
|---|---|---|---|---|---|
| 工藝 | 5nm（推測） | 5nm | 5nm | 5nm | 4nm（N4） |
| BF16/FP8 算力 | ~459 TFLOPS (BF16) | 數百 TFLOPS (FP8) | 未公開 | 未公開 (~300 TFLOPS 推論) | 989 TFLOPS (FP8 稀疏)，~494 TFLOPS 密集 |
| HBM | ~2.4 TB/s, ~95 GB (估) | 數 TB/s, 96 GB | 未公開 | 128 GB LPDDR5（非 HBM，頻寬較低） | 3.35 TB/s, 80 GB HBM3 |
| 最大系統互聯 | 8960 片，OCI+光交換器 | UltraScale 互聯數萬片 | 自研 Ethernet 互聯 | 機架級 | NVLink Switch 8×8=256 GPU |
| 編譯器生態 | XLA, JAX, PyTorch | Neuron Compiler, PyTorch | 自研 Triton 分支 | 自研 | CUDA, NCCL |
| 主要適用負載 | 訓練+推論大型模型 | 訓練+推論自研模型 | 推論+混合訓練 | 推薦系統推論 | 通用訓練+推論 |
| 公開適配架構 | JAX, TensorFlow, PyTorch | PyTorch, TensorFlow | PyTorch (未來) | PyTorch | 全部主流 |
量化比較：在 Google 等內部基準測試中，TPU v5p 對於 GPT‑3 規模的 Transformer 模型的每美元吞吐量可達 H100 的 1.5‑2 倍（來源：Google Cloud 部落格 2024 年引用內部基準）。但靈活性遠不如 GPU，如不支援原生 FP64 或圖形庫，無法執行不相容運算元。
風險
技術迭代風險
AI 演算法演進可能偏離現有 ASIC 的最佳化路徑，如狀態空間模型（Mamba）、混合遞迴等新結構需要全新切分和運算元支援。ASIC 設計週期長達 18‑24 個月，如遇範式突變，落後一代的風險顯著。
供應鏈風險
CoWoS 先進封裝產能集中於台積電，2024 年月產能 35k‑40k 片，Apple、輝達等大客戶佔據優先份額，ASIC 廠商產能分配受限。SK 海力士 HBM3E 供貨緊張，上游供給波動可能推遲晶片交付，影響雲端廠商部署節奏。
客戶集中風險
AI ASIC 市場高度集中於 3‑5 家超大規模客戶，設計服務商（博通、Marvell）的重大營收依賴少數專案，一旦主要客戶改用其他方案或自研後端，將帶來劇烈業績波動。
軟體生態壁壘
雖然 PyTorch 對 XLA 後端支援日漸改善，但斷點除錯、自定義運算元和效能調優仍然落後 CUDA，生態碎片化可能導致企業開發者不願遷出 NVIDIA 體系，形成使用者慣性鎖定風險。
成本攤銷風險
AI ASIC 的單次 NRE（一次性工程費用）可達數億美金，若晶片最終部署量未達規模經濟門檻，單位算力成本反而高於購買現成 GPU，對中型雲端廠商存在經濟可行性風險。
誤讀糾偏
-
誤讀 1：“AI ASIC 不能訓練大型模型。”
事實：Google Gemini 系列模型全在 TPU v4/v5p 上訓練，AWS 已用 Trainium 訓練千億引數大語言模型。現代 AI ASIC 具備與 GPU 相當的 BF16/FP8 算力和 HBM 頻寬，XLA/Neuron 等編譯器支援自動混合精度和分佈策略，訓練能力不遜同代 GPU。 -
誤讀 2：“ASIC 功能固定，只能跑某種神經網路。”
事實：脈動陣列本質是通用矩陣乘法引擎，配合可程式設計標量/向量單元可執行任意啟用函式。只要模型可由基本運算元（全連線、注意力、卷積）表達，ASIC 即可通過編譯器對映執行。Google TPU 已支援 Transformer、CNN、擴散模型等多種架構。 -
誤讀 3：“開發 AI ASIC 極其困難，只有 Google 能玩。”
事實：博通和 Marvell 已提供成熟的 IP 平台和設計服務，將物理實現高度產品化，使新玩家能在約兩年內完成流片（Meta MTIA v2 約兩年）。儘管投資門檻仍高，但對比每年數十億美元的 GPU 採購，自研晶片的 ROIC 依然有吸引力。 -
誤讀 4：“ASIC 只能做推論。”
事實：儘管早期專攻推論，但自 TPU v2 起已支援訓練，AWS Trainium 系列直接定位訓練。未來幾年訓練 ASIC 比例將持續上升。 -
誤讀 5：“華為昇騰、寒武紀無法參與全球競爭。”
事實：受制程限制，這些晶片在絕對效能密度上落後，但憑藉在特定架構（MindSpore）和國內市場替代政策下仍有一定份額，在生態割裂中扮演區域性角色。
最新事件
（截至 2025 年 1‑2 月可獲的資訊）
- 博通 2024 年 12 月財報超預期：定製 AI 晶片營收帶動整體營收增長，管理層明確“600‑900 億美元 SAM”口徑，並指出已在開發下一代 3nm 客戶產品（來源：Broadcom Q4 FY2024 Earnings）。
- Marvell 取得新突破：2024 年底宣佈與另一家超大規模客戶達成 AI ASIC 合作協議，預計 2025 年下半年量產，被認為是為微軟量產的 Maia 或全新客戶（來源：Marvell 2024 年 12 月業務更新）。
- AWS Trainium2 開始出貨：2024 年 re:Invent 上確認將推出 Trn2 例項，支援數十萬晶片叢集，採用 5nm 工藝，並且與 Anthropic 合作訓練下一代模型。
- Meta MTIA v2 實際部署：2024 年 Q3 財報提到已部分用於 Live Feed 和生成式推薦推論，節省大量 GPU 資源，但未揭露準確數量。
- 字節跳動自研 ASIC：據外媒 2024 年報道，位元組已與博通合作定製 AI 晶片，用於推薦和推論，計劃 2025 年部署，遵守美國出口管制下符合要求的設計。
- 華為昇騰 910B 及 2025 路線：受限於與台積電脫鉤，採用 7nm 節點（中芯國際 N+2？），並適配昇思 MindSpore；公開報道中國運營商和政務雲端採購數千片，用於國產化 AI 平台。
- CoWoS 擴產持續：台積電 2025 年預計將 CoWoS 月產能由 35k 提升至 70k 片以上，新增產能部分被輝達和英特爾佔據，AI ASIC 廠分得約 20% 左右（來源：Digitimes 2024 年 12 月）。
追蹤指標
為了客觀追蹤 AI ASIC 趨勢而非作為投資建議，可關注以下高時效指標：
- 設計服務廠商 AI 相關營收：博通季度財報中的“Custom AI accelerator revenues”、Marvell 的“Cloud AI”營收增速，可反映專案爬坡與客戶需求。
- CoWoS 產能分配協議：台積電法說會揭露的先進封裝產能及客戶預訂情況，直接預示 AI ASIC 出貨量。
- HBM 交期與價格：SK 海力士、三星等 HBM3E 合同的交貨提前期和溢價，影響晶片成本和供應可獲性。
- 雲端廠商自有晶片公開部署規模：GCP TPU 例項型別增長、AWS Trn2 可用區數量、Azure Maia 例項公告等。
- 模型訓練報告中的硬體標記：如 Google DeepMind 論文中標記 TPU v5p 訓練規模（晶片數量、時間），可推算實際效率。
- 博通/Marvell 對客戶合同的進展：新客戶設計贏得（design win）、產品從流片到量產的里程碑新聞。
- 全球 AI 伺服器出貨結構：依據 Omdia 或集邦諮詢的季度資料，觀察 ASIC 伺服器佔比變化。
信源
- Google Cloud TPU v5p 官方文件 – https://cloud.google.com/tpu/docs/v5p
- Google TPU v4 論文: “The Fourth Generation of Tensor Processing Units,” MLSys 2023
- Broadcom Inc. Q4 FY2024 Earnings Call (Dec 12, 2024) – Transcript via Seeking Alpha/Broadcom IR
- Marvell Technology 2024 年 10 月投資者日及業務更新 – Marvell IR
- AWS re:Invent 2023 – Trainium2 公告: https://aws.amazon.com/blogs/aws/
- AWS Trainium2/Inferentia2 產品頁 – https://aws.amazon.com/machine-learning/trainium/
- 台灣積體電路製造 2024 年第三季法說會及 CoWoS 產能進展 – TSMC IR
- SemiAnalysis, “AI ASIC Wars Begin,” 2024 （訂閱分析報告）
- Digitimes Research, “AI Chip Market Survey,” 2024 年 12 月
- TrendForce, “HBM Market Report,” Q3 2024
- The Information, “ByteDance Develops Own AI Chips with Broadcom,” 2024
- Microsoft Maia 100 公告 – Microsoft Ignite 2023 部落格
- Meta MTIA v2 – Meta AI Blog, 2024
- Omdia, “AI Processors Forecast,” Q4 2024
注：本文所有財務與產能數字均標註年份、口徑及來源，不確定資訊已明確標識“估算”或“公開資料未見”。不構成任何投資建議或買賣推薦。