雲端端 AI 晶片

3 秒看懂

雲端端 AI 晶片是部署在資料中心、專門用於人工智慧訓練與推論的大規模並行處理器。與終端晶片不同，它追求極致的算力密度、記憶體頻寬和橫向擴充套件能力，典型形態包括 GPU、TPU/NPU 等 AI 專用加速器。當前技術制高點聚焦於 Chiplet/先進封裝、HBM 高頻寬記憶體、以及支援千億/萬億引數大型模型的互聯體系。算力軍備競賽由輝達主導，但雲端廠自研 ASIC 與新興架構正引發格局重塑。

3 分鐘產業解釋

雲端端 AI 晶片的本質，是把“訓練一個 ChatGPT 式模型”或“每秒處理上億次推論請求”所需的計算、訪存、通訊三大能力，濃縮在一個或一組可伸縮的硬體單元裡。訓練階段要完成對一個巨型神經網路的海量矩陣乘法與梯度同步，推論階段則要在低延遲、高併發下執行一個大型模型的前向傳播。兩者都對晶片提出嚴峻挑戰：

• 算力：需要大量的乘加單元（MAC）並行化，資料格式從 FP32 向 TF32/FP16/BF16/INT8/FP8 持續下探，以提升能效比。
• 訪存：引數與中間啟用遠超單顆晶片 SRAM 容量，必須依賴外部高頻寬記憶體（如 HBM），其頻寬往往達到 TB/s 級別，是卡算力的第一瓶頸。
• 通訊：單一晶片算力有限，必須通過高速互聯（NVLink、PCIe、InfiniBand、專用 ICI）把數千至數萬顆晶片連線成一個整體，執行 AllReduce、All-to-All 等集合通訊。

產業形態上，雲端端 AI 晶片不再只是“高算力 GPU”，而是一個集晶片、互連、系統、生態於一體的完整平台。輝達通過 GPU+CUDA+NVLink+InfiniBand 構築了極深的護城河。Google TPU 證明了資料中心內部從訓練到推論全用 ASIC 的可行性，並催生了亞馬遜 Trainium/Inferentia、微軟 Maia、Meta MTIA 等雲端廠自研浪潮。另一邊，初創公司（如 Cerebras、Groq、Graphcore）試圖用晶圓級晶片、確定性路由等極限創新打破常規，但商業規模化仍是考驗。

15 分鐘專家深入

在“大型模型 scaling law”驅動下，雲端端 AI 晶片已從單純的單晶片效能競賽，演變為“晶片-封裝-節點-叢集”全棧協同的系統工程。以下幾個維度是理解當前產業博弈的關鍵：

1. 算力標稱與實際利用率
   FP16/BF16 標稱算力（單位 TFLOPS/PFLOPS）只是上限。模型的矩陣乘是否能填滿計算單元，取決於 batch size、序列長度與運算元融合程度。實際可達算力（Model FLOPS Utilization, MFU）在超大型模型中通常僅 30%-60%。FlashAttention、混合精度、持續批處理等技術正是為了逼近算力峰值。

2. 記憶體牆與 HBM 進階之路
   單個推論請求可能僅需幾 MFLOPS，但模型權重全部駐留在記憶體，推論的吞吐量完全由記憶體頻寬決定。訓練中，最佳化器狀態、梯度、引數副本使得記憶體需求是引數量的數倍。HBM 通過 3D 堆疊與矽中介層（Interposer）大幅提升頻寬與容量，但成本高昂，且被少數廠商壟斷。HBM 的代際迭代（容量/頻寬增長）與先進封裝（CoWoS 等）的產能，直接決定高階 AI 晶片的供給。

3. 互聯拓撲與通訊代價
   超級訓練叢集需要多維度並行：資料並行、張量並行、流水線並行、序列並行，再加上 MoE 的專家並行。張量並行在每個 Transformer 層內切開矩陣乘，需要在層內進行 AllReduce/ReduceScatter，對互聯頻寬和時延要求最高，通常侷限於高頻寬域（如 NVLink 域）。而 MoE 的 All-to-All 分發/匯聚在跨節點通訊上帶來巨大壓力。新一代晶片普遍將高速 SerDes 與專用協議整合進 chiplet 或主晶片，試圖將跨機架通訊“近程化”。

4. 從矽到液的能效工程
   單顆晶片 TDP 已從 400W 向 1000W+ 邁進，單機架功耗可破 100kW，傳統的風冷被迫讓位於液冷（冷板式或浸沒式）。晶片設計內部必須支援動態電壓頻率調節、門控時鐘、算存休眠等細粒度電源管理，甚至採用垂直供電架構（背面供電）。能效（TOPS/W）不僅是運營成本，更是資料中心受電容量限制下的准入證。

技術原理

雲端端 AI 晶片的底層可以抽象為一個“張量計算引擎 + 可程式設計資料流”。以訓練一個 Transformer 大型模型為例，核心計算原語包括：

• 通用矩陣乘（GEMM）：佔據 90% 以上運算時間。晶片內佈滿由乘加單元組成的脈動陣列或分散式計算簇，從本地緩衝區/共享記憶體中讀取資料，按固定節拍完成大規模並行乘加。
• 非線性啟用與歸一化：點運算（如 GELU、LayerNorm）需要向量單元處理，計算密度低但訪存密集，往往通過運算元融合與矩陣乘共用一個數據流，減少視訊記憶體訪問。
• 注意力計算：Softmax 前的大矩陣乘及後續的mask + Softmax + dropout，涉及多輪讀寫。FlashAttention 通過分塊 (tiling) 和重計算策略，將中間注意力矩陣保持在 SRAM 內，大幅減少 HBM 訪問。
• 集合通訊：反向傳播後，需要將各晶片上的梯度求和（AllReduce）。典型實現基於 Ring 或 Tree 演算法，晶片間通過高速鏈路段到段傳遞，利用頻寬最優的 ReduceScatter+AllGather 組合，通訊量壓縮至 2(N-1)/N 倍梯度體積。

以 N 個 GPU 的資料並行為例，梯度同步階段所需的時間約等於：

T_{\text{comm}} \approx \frac{\text{Gradient Size}}{\text{Bandwidth}} \times f(N)

f(N) 與拓撲有關，對於最簡化的全雙工環，趨近於 2(N-1)/N。因此在千卡級以上，網路頻寬與架構幾乎必須與計算等比升級。

典型晶片微架構（定性示意）：

┌────────────────────────────────────────────────────┐
│                    AI 晶片 (die)                    │
│  ┌──────────┐ ┌──────────┐ ┌──────────┐            │
│  │計算核心A │ │計算核心B │ │計算核心C │ ...        │
│  │ (MAC陣列) │ │ (MAC陣列) │ │ (MAC陣列) │          │
│  └───┬──────┘ └───┬──────┘ └───┬──────┘            │
│      │ 片上網路 (NoC) / 交叉開關          │         │
│  ┌───┴─────────────────────────────┴──────┐         │
│  │         全域性共享 SRAM / L2 Cache         │         │
│  └───────────────────┬────────────────────┘         │
│            Memory Controller (HBM PHY)               │
└─────────────────────┬──────────────────────────────┘
                  ┌───┴───┐  HBM Stack
                  │  HBM  │  (多層DRAM堆疊)
                  └───────┘
        Chip-to-Chip I/O (SerDes/ NVLink/ UALink 等)

技術演進史

• 2012-2015：GPGPU 一枝獨秀
  深度學習崛起初期，NVIDIA GPU 憑藉可程式設計性和 CUDA 生態迅速成為事實標準。雲端端訓練從 K80 到 P100，逐步加入 FP16 精度的硬體支援，但仍是通用 GPU 改良。

• 2016-2018：AI 專用架構破冰
  Google TPU v1（僅推論）公佈，脈動陣列專攻矩陣乘，能效遠超同期 GPU。TPU v2/v3 加入訓練能力，並引入 TPU Pod 超級計算機概念。同期，啟動 Graphcore IPU、寒武紀思元等創業潮，強調片上儲存和不同的並行模型。

• 2019-2022：大規模擴充套件與互聯升級
  NVIDIA V100/A100 引入 Tensor Core 和 NVLink/NVSwitch 拓撲，容量與頻寬翻番。HBM2e 普及，CoWoS 封裝成為高階標配。雲端廠模仿 TPU 路徑，亞馬遜推出 Inferentia、Trainium，百度崑崙、阿里含光等現身。訓練規模從數百卡膨脹到數千卡，分散式訓練架構（Megatron, DeepSpeed）成熟。

• 2023-至今：萬億引數時代的平台戰爭
  NVIDIA H100/H200/B100/B200 系列通過 Transformer Engine、FP8、更大 HBM、更強 NVLink Network 將叢集算力推向 ExaFLOPS 級。GPT-4 類大型模型爆發，引爆 MoE 架構，帶來 All-to-All 通訊的新複雜度。雲端廠加速自研 ASIC，Google TPU v5p 大規模部署，微軟 Maia、Meta MTIA 跟進。同時，後端網路從 InfiniBand 轉向融合乙太網路 (RoCEv2/Ultra Ethernet)，UALink、Ultra Accelerator Link 等聯盟試圖打破 NVLink 封閉生態。Cerebras 用晶圓級晶片實現單顆晶片訓練一個 GPT-3 大小的模型，Groq 推確定性的流式推論。技術演進進入系統級、生態級對抗。

技術路線對比

維度	GPU (輝達主導)	自研 ASIC (TPU/Trainium等)	晶圓級晶片 (Cerebras)	其他新型架構 (Groq等)
計算能力	Tensor Core 通用性高，標稱峰值強勁，FP8/FP4 快速迭代	針對自家負載極致調優，峰值可能保守但利用率高	晶圓整合超大規模核心，免跨晶片通訊，標稱算力極大	各有特色：流式存內計算、確定性排程等
記憶體與互聯	率先採用最新 HBM 代際，NVLink/NVSwitch 建置高頻寬域，InfiniBand/Spectrum-X 組叢集	HBM/封裝跟進主流，互聯多基於乙太網路或定製 ICI，跨機通訊依賴雲端基礎設施	片上 SRAM 巨大，無傳統 HBM，記憶體容量受限，跨系統通訊特殊設計	各不相同，部分依賴專用記憶體或 SRAM 重構
軟體生態	CUDA 生態最強，開發者黏性極高，生態壁壘深厚	自研編譯器與架構，深度繫結內部業務，開放性不足	專用 SDK，需重構軟體棧，適配成本高	需要從編譯器底層重建程式設計模型，生態極弱
靈活性	支援幾乎全部模型架構，可適配多變的研究需求	可固化特定運算元，但架構演進速度快需靈活調整	支援大型模型但受限於記憶體大小，適用於特定尺寸	通常針對推論或特定訓練範式
成本結構	單位算力定價最高，但開發效率帶來的總擁有成本（TCO）有競爭力	不計研發分攤的情況下，大規模部署的硬體成本顯著低於同等 GPU	極貴，但節省通訊成本，系統總體簡化	量產後成本有望極低，但前期投入巨大
供應穩定性	受制於 HBM、先進封裝產能，市場緊缺	產能同樣受限於代工廠先進製程與封裝，但由於非市場主力競品，獲取產能難度不一	依賴自己的定製工藝與封裝，限制縮放	許多采用特殊工藝，供應鏈脆弱

上下游

上游

• EDA/IP：晶片設計工具與高效能介面 IP（HBM PHY、高速 SerDes、PCIe、CXL）必不可少，主要由 Cadence、Synopsys、Alphawave 等提供。
• 代工與製程：5nm/4nm/3nm 邏輯工藝是當前主流，台積電、三星、英特爾提供。先進製程朝向 GAA（Gate-All-Around）電晶體演進，以提升能效。
• 先進封裝與基板：CoWoS、EMIB、Foveros 等 2.5D/3D 封裝技術，配套 ABF 載板、矽中介層，直接決定 HBM 整合能力和產能。
• HBM 記憶體：三星、SK 海力士、美光壟斷，從 HBM2e 到 HBM3/HBM3e 持續演進，每一代提升頻寬與堆疊層數。
• 測試與裝置：AI 晶片 die 面積大、功耗高，對 ATE 測試、熱驗證、系統級測試提出極高要求。

下游

• 雲端服務商（CSP）：AWS、Azure、Google Cloud、Oracle Cloud 等，是最大采購方，用於內部 AI 服務和對外出租 GPU/TPU 例項。
• 大型 AI 實驗室與企業：OpenAI、Anthropic、Meta、字節跳動等，自建或租用海量叢集用於前沿模型訓練。
• 伺服器 OEM/ODM：超微、廣達、緯穎、鴻海等，生產 GPU 伺服器/整機櫃，整合液冷與供電系統。
• 二次售賣市場與算力租賃平台：二手高階 GPU 流通活躍，小規模算力租賃商也構成零星市場。

關鍵指標

• 算力：FP16/BF16/FP8 TFLOPS 或 PFLOPS，以及對應稀疏算力（結構化稀疏可加倍）。
• 記憶體頻寬：TB/s 級別，直接決定推論吞吐和某些訓練階段的效率。
• 容量：每個晶片/加速卡上的 HBM 總容量（GB），影響每卡可裝載的模型大小。
• 互聯頻寬：片間通訊頻寬（如 NVLink 雙向頻寬），節點間網路頻寬（如 400G/800G InfiniBand 或乙太網路）。
• 能效比：TOPS/W 或 PFLOPS/W，在資料中心功率密度限制下至關重要。
• 延遲：尤其是推論場景下，處理單個 token 的端到端延遲（毫秒級）。
• 擴充套件效率：當叢集規模從 N 個加速器增至 2N 時，總吞吐量的提升比例（理想為 1.0，實際 0.7-0.9）。

供需與市場資料

根據多家研究機構彙總（如 TrendForce、IDC、650 Group 等，具體數字因付費壁壘不準確，以下為行業趨勢定性）：

• 全球雲端端 AI 晶片市場規模（含 GPU、ASIC、FPGA 等）近兩年呈現爆發式增長，年增長率超 50%，2024 年估計已達數百億美元級別。
• 供應嚴重受制於台積電 CoWoS 封裝產能與 HBM 產能。主要廠商已預訂未來數個季度的全部高階封裝產能，交貨週期長達數月。
• 需求端，訓練側受大型模型軍備競賽驅動，推論側仍未大規模爆發，但隨著端側 agent 化、生成式 AI 服務普及，推論晶片需求預期將超過訓練，且更看重低功耗、低成本。
• 公開行業報告通常認為輝達在雲端端 AI GPU 營收口徑中處於領先位置，但具體份額會隨統計範圍、時間視窗和 GPU/ASIC 劃分方式變化；自研 ASIC 在推論和雲端廠內部訓練中的佔比需要按雲端廠揭露逐項核驗。
• 地緣政治因素使得中國市場的晶片獲取受限，國產替代（升騰、海光、寒武紀）在雲端端市場拿到一定份額，但硬體代差和軟體生態仍是瓶頸。

代表公司與資本對映

• 輝達 (NVIDIA)：H100/H200/B200 系列，CUDA 生態護城河極深，即將推出基於 Blackwell 架構的 B100/B200 和 GB200 Superchip。公司市值一度破萬億美金，是 AI 基礎設施的“定價錨”。
• Google (Google/Alphabet)：TPU 系列已至 TPU v5p，用於內部搜尋、廣告、Gemini 模型訓練及 Google Cloud 對外出租。
• 亞馬遜 (Amazon)：Trainium2 和 Inferentia2 系列，通過 AWS 提供，價效比優於 GPU 例項，主要用於自家及客戶大型模型訓練推論。
• AMD：MI300X 系列，對標 H100/H200，主打大記憶體容量和開放式 ROCm 軟體棧，正在積極爭取大型客戶。
• 英特爾 (Intel)：Gaudi 3 加速器，繼承自 Habana Labs，強調乙太網路互聯和價效比，計劃與 Falcon Shores 合併路線。
• 微軟 (Microsoft)：部署 Maia 100 加速器，用於 Azure 內部 AI 負載。
• Meta：公開 MTIA 系列晶片，現階段主要針對推薦系統推論，未來可能擴充套件訓練。
• Cerebras：CS-2/CS-3 系統，晶圓級引擎，單塊晶片有數十萬 AI 核心和巨大片上 SRAM，可直接單晶片訓練大型模型。
• 寒武紀、海光資訊、華為昇騰 等中國廠商，遭受出口管制後，仍在迭代產品，滿足國內市場需求。

產業影響與風險

1. 訓練算力需求：只要 scaling law 持續，對訓練算力的需求就會保持高強度。GPU、HBM、先進封裝和高速網路的營收彈性需要結合訂單、交付、價格和毛利率分開驗證；若模型訓練效率提升過快或訓練範式變革，需求增速可能階段性放緩。

2. 推論爆發論的悖論：AI 應用滲透後，推論算力長期可能超過訓練。但推論晶片要求極低 TCO，毛利率相對訓練晶片較低，且更容易被雲端廠自研 ASIC 侵蝕。因此需要分開觀察雲端廠自研晶片、第三方加速器、網路、記憶體和邊緣推論遷移到雲端端的不同路徑。

3. 配套環節：除晶片本身外，先進封裝、HBM、液冷、高速交換器 (InfiniBand/乙太網路)、光模組等環節也會受雲端端 AI 叢集建設影響。供給緊張需要用產能、良率、交期和客戶訂單驗證，不能直接等同於業績確定性。

4. 生態標準變化：NVLink 的封閉生態正被 UALink、Ultra Ethernet 等聯盟挑戰。若能形成事實標準，可能降低 AI 晶片行業的准入門檻，但影響需要通過系統相容性、軟體棧成熟度和實際部署規模驗證。

5. 地緣與替代路徑：出口管制會改變中國市場的供應選擇和國產 AI 晶片迭代節奏。相關判斷需要同時考慮效能差距、軟體生態、流片風險、客戶驗證週期和實際採購口徑。

常見誤讀糾偏

• 誤讀一：“AI 晶片就是看 TFLOPS，誰高誰厲害”
  實際中，標稱 TFLOPS 在真實工作負載下能達到多少是另一回事。記憶體頻寬、軟體編譯器最佳化、多卡互聯效率甚至比裸算力更重要。一顆 GPU 的軟硬體協同可能使實際吞吐量比紙面算力只有其 70% 的 ASIC 還高。

• 誤讀二：“MoE 模型的啟用引數就是總引數除以專家數，所以計算量小很多”
  MoE 模型的“啟用引數”通常等於共享層引數加上路由到的 top-K 專家的引數。這部分確實遠小於總引數，但通訊開銷（All-to-All）大大增加，並且不能簡單用總引數來估算算力需求。一定要區分“總引數量”和“每次前向的啟用引數量”，後者決定單個 token 的計算 FLOPs，但對記憶體和系統通訊提出更高的要求。

• 誤讀三：“有了 AI 專用卡，CPU 就不重要了”
  在訓練叢集中，CPU 負責資料預處理、I/O、引數伺服器的部分邏輯、以及啟動控制訊號等。大規模訓練單卡可搭配十幾個邏輯 CPU 核心。而且 PCIe/CXL 等協議仍需 CPU 根複雜。不能忽視整體異構計算系統的協同。

• 誤讀四：“雲端廠自研晶片能馬上取代輝達”
  自研 ASIC 雖然硬體成本低，但軟體生態的完備與開發者習慣的培養需要數年，大規模部署中的穩定性、運維工具鏈成熟度往往不及通用 GPU 平台。雲端廠自研晶片當前更多是補充與議價籌碼，全面替代短期內不可能。

學習路徑

1. 入門：閱讀“AI 晶片的基本原理與架構”綜述文章，理解 MAC 陣列、儲存層次、資料複用概念。觀看輝達、Google等公司的公開 Hot Chips 演講，建立直觀認知。
2. 深入軟體棧：親手使用 PyTorch/tensorflow 編寫簡單網路並分析 CUDA kernel 或 XLA 編譯圖，理解運算元下發與融合過程。瞭解 NCCL 的集合通訊原語（Broadcast, AllReduce, ReduceScatter, All-to-All）。
3. 研究系統級挑戰：閱讀 Megatron-LM、DeepSpeed 等分散式訓練架構的論文，重點理解張量並行、流水線並行、ZeRO 最佳化器的視訊記憶體最佳化原理。研究 MoE 通訊最佳化（DeepSpeed-MoE 等）。
4. 硬體與架建置模：用簡單的效能模型（roofline model）分析給定網路在特定硬體上的計算/頻寬瓶頸。調研先進封裝、HBM 內部結構、SerDes 技術趨勢。
5. 追蹤產業與投資邏輯：定期閱讀 TrendForce、DIGITIMES、Next Platform 等媒體，追蹤大廠新品、產能動態、初創公司進展。結合代工廠財報分析供需。

一句話總結

雲端端 AI 晶片的終極形態不是一顆最強大的晶片，而是一個由先進封裝、致命記憶體頻寬、彈性高頻寬互聯和久經考驗軟體所構成的、可以線性擴充套件的“計算織物”。

延伸閱讀與來源

• [未充分獲取，典型參考源]：輝達、AMD、英特爾等公司年度 GPU/加速卡技術白皮書和 GTC/Hot Chips 演講資料。
• [行業研究機構]：TrendForce, Semico Research, IDC, 650 Group 等釋出的 AI 晶片市場預測和先進封裝產能報告（通常收費）。
• [學術與開源資源]：NVIDIA CUDA 程式設計手冊、NCCL 文件；Google TPU 論文《A Domain-Specific Supercomputer for Training Deep Neural Networks》；Megatron-LM 論文；FlashAttention 論文。
• [新聞報道與部落格]：Next Platform, SemiAnalysis, AnandTech, ServeTheHome 對新一代晶片架構的深度分析。
• [財務揭露]：輝達（Q 季報）、台積電、三星的營收構成與技術展望中，常有關於 HPC/AI 平台營收的定性與定量線索。