計算單元
1. 3 秒看懂
計算單元（CU，Compute Unit）是 GPU 與 AI 加速器中執行平行計算的最小完整硬體塊。它集成了數十至數百個算術邏輯單元（ALU）、暫存器檔案、排程器和區域性資料共享空間，能夠以單指令多資料（SIMD）方式，讓一條指令同時作用於數百個資料。在深度學習中，晶片內 CU 的數量、工作頻率和實際利用率，三者共同決定了一顆晶片的訓練與推論吞吐能力。它如同一個高度組織化的“流水線車間”：車間數量越多、內部工人（ALU）越忙碌、物料（資料）供給越及時，完成矩陣乘法這類核心任務的效率就越高。
2. 3 分鐘產業解釋
若將 GPU 或 AI 加速器視為一座巨型工廠，計算單元就是其中一條完整的、可獨立運作的裝配線。每條線配備了自己的工位（ALU）、物料暫存區（暫存器和區域性資料共享 LDS）以及排程員（波前排程器），專門用於並行處理海量形狀規整的“工件”（資料）。
現代人工智慧的兩大基石——卷積神經網路與 Transformer 自注意力機制——本質上是規模極其龐大的矩陣乘法運算。這些運算可被拆解為數萬乃至數百萬個簡單的乘加任務，並精確對映到成百上千個 CU 上同步執行。一個或多個 CU 會組合成更高層級的模組，如著色器陣列（SA）或工作組處理器（WGP）；再由數十個此類模組拼接出完整的 AI 晶片。
產業視角所關心的算力，其物理根基正在於此。它的基本公式為：理論峰值算力 ≈ CU 總數 × 每 CU 每時鐘週期可完成的融合乘加（FMA）運算元 × 執行頻率。然而，將這理論算力兌現為實際應用效能，則取決於資料供給體系（多級快取與視訊記憶體頻寬）能否高效匹配 CU 的消耗速度。因此，剖析 CU 的微架構設計、資料供給通路及上層程式設計模型，是評估任何 AI 硬體方案長期競爭力的核心線索。
3. 技術原理
3.1 微觀結構：一個 CU 的內部解剖
一個典型的 CU 內部，由以下關鍵模組構成一個完整的計算流水線：
- 指令排程器：以“波前”或“執行緒束”為最小單位發射指令。每個波前通常由 32 或 64 個工作項（執行緒）組成，共享同一指令流。
- 計算執行單元：
- 標量單元：專門處理整數地址計算、流程控制等非向量化任務。
- 向量 ALU：計算主力，可在單週期內對多個數據執行浮點或整數乘加運算。
- 特殊功能單元（SFU）：高效處理超越函式（如
sine，exp）、插值等複雜運算，速度遠超普通 ALU 的軟體模擬。
- 儲存層次：
- 暫存器檔案：為每個活躍執行緒提供私有資料暫存，其容量以 KB 計，直接影響可駐留波前數量（佔用率），是延遲隱藏能力的關鍵。
- 區域性資料共享（LDS）或共享記憶體：CU 內所有工作項均可高速訪問的暫存空間，常需開發者顯式程式設計控制，用於實現高效資料交換與分塊（Tiling）。
3.2 指令執行流水線示意
一條指令在 CU 內的執行通道可用以下簡化 ASCII 圖表示：
取指 -> 解碼 -> 標量單元（地址/控制） -> 向量單元（資料平行計算） -> 寫回暫存器
\-> 儲存器訪問通道（全域性/區域性記憶體 或 LDS）---------/注：標量與向量指令、儲存器操作可能分別位於不同的執行流水線上，可並行發射，以最大化吞吐。
3.3 從執行緒到波前的排程抽象
軟體層面的一個工作項（執行緒）在 CU 中對應一個硬體執行槽。波前（或執行緒束）是硬體排程與執行的最小顆粒度。當一個波前因訪問高延遲的全域性記憶體而停滯時，排程器會立刻切換至片內其他已就緒的波前繼續執行，以此掩蓋數百個時鐘週期的訪存延遲。這種“零開銷”執行緒切換是 CU 實現高吞吐率的核心機制之一，其有效性完全取決於暫存器與共享記憶體資源能否支援足夠多的波前同時駐留（即高佔用率）。
3.4 深度學習運算元的物理對映
以矩陣乘法 C = A × B 為例，計算任務被劃分為大量輸出子塊。每個工作項負責計算矩陣 C 中的一小塊。
- 多級分塊：將矩陣
A、B的特定子塊從全域性記憶體搬運至 LDS（一級分塊），再從 LDS 搬運至暫存器（二級分塊），最大化資料複用，最小化對全域性記憶體的訪問。 - 向量化訪存：利用寬度為 128 位或 256 位的載入指令，一次性從全域性或區域性記憶體讀取多個連續資料元素，提升取數效率。
- 混合精度計算：在同一 ALU 上使用 FP16、BF16、TF32 或 INT8 格式進行運算。由於資料位寬減半，理論吞吐可達 FP32 的 2 倍乃至 4 倍，前提是硬體具備原生加速支援。
4. 關鍵引數
解析一個 CU 的效能潛力，需關注以下關鍵指標，其典型區間基於業界已公開架構的定性範圍：
- 向量 ALU 寬度：單個 SIMD 單元每週期可處理的元素數量。每個 CU 內含多組 SIMD 單元，常見組合為每 CU 提供 64 到 128 條 FP32 流水線。
- 每時鐘週期乘加次數：理論峰值計算能力的基石，等於
SIMD 單元數 × 單單元寬度 × 2（將一次融合乘加計為兩次操作）。 - 暫存器檔案容量：每 CU 通常配備數十至數百 KB，直接限制波前佔用率和延遲隱藏能力。
- LDS/共享記憶體容量：每 CU 達數十至上百 KB，其頻寬遠超全域性快取，是高效資料複用的關鍵。
- 波前排程策略：主流方案為細粒度交替多波前排程，硬體同時維護數十個波前的執行狀態。
- 資料型別加速：對不同精度的支援決定了實際吞吐上限。
| 資料精度 | 操作特性與適用場景（定性） |
|---|---|
| FP32 | 單精度浮點基線，廣泛用於對精度要求高的科學計算與訓練任務。 |
| FP16 / BF16 | 理論吞吐率可達 FP32 的兩倍。BF16 因其與 FP32 相同的指數範圍，在深度學習訓練中穩定性更優。 |
| TF32 | 一種內部儲存格式。使用與 FP16 相似的 10 位尾數精度進行乘法，但使用 FP32 的 8 位指數範圍進行累加，在 NVIDIA Ampere 及之後架構上實現了接近 FP16 的速度與 FP32 的收斂性。 |
| INT8 | 理論吞吐率可達 FP32 的四倍，是當前 AI 推論部署的主流精度。 |
| FP8 | 最新前沿格式，吞吐量極高，需配合額外的縮放因子用於訓練與推論，能效比卓越。 |
5. 技術路線
5.1 主流廠商設計範式對比
以下對比為相對定性尺度，具體微架構代際差異顯著，需以廠商最新白皮書為準。
| 維度 | NVIDIA（SM） | AMD（CU） | Intel（Xe-core） | 通用 AI 加速器 |
|---|---|---|---|---|
| 向量寬度 | 每 SM 由 4 個分割槽組成，每分割槽含 16 個 32 位寬 ALU(基於 Ampere/Ada 架構特徵)。 | 每 CU 內通常含 64 個 32 寬流處理器。 | 每 Xe-core 內含多個向量引擎，寬度因代際而異。 | 脈動陣列或定製 MAC 陣列，寬度可達 256 或更高，靈活性各異。 |
| 矩陣加速單元 | Tensor Core，已演進至第 4/5 代，支援 FP8/FP16/BF16/TF32。 | Matrix Core，在 CDNA 架構中引入，提供類似矩陣乘加加速能力。 | XMX 引擎，專為加速矩陣運算設計。 | 脈動陣列或定製 MAC 陣列。 |
| 儲存層次 | L1/共享記憶體統一設計，容量可靈活配置，最大共享記憶體可達 100KB 級以上。 | L1 快取與 LDS 分離，設計哲學不同，利於特定 HPC 負載。 | 共享本地記憶體（SLM），提供高速資料交換。 | 通常配置大容量片上全域性 SRAM 作為統一快取。 |
| 執行緒排程模型 | SIMT（單指令多執行緒），以 32 執行緒為一組 warp 排程。 | Wavefront（波前），以 32 或 64 執行緒為一組排程，屬 SIMD 的一種實現。 | SIMT 模型。 | 常採用更粗粒度流水線或 VLIW（超長指令字），以換取更高能效。 |
| 軟體生態護城河 | CUDA 生態，開發者基數龐大，庫與應用最成熟。 | ROCm/HIP 生態，已實現從 CUDA 一鍵轉譯的相容性，成熟度快速追趕。 | oneAPI 生態，基於 SYCL 的跨架構開放標準。 | 自研編譯器與推論引擎架構，與少數架構深度繫結。 |
5.2 設計權衡與演進趨勢
不同設計哲學體現了對“單執行緒效能”與“吞吐量”的不同權衡。NVIDIA 傾向於建置算力更強、單 SM 資源更豐富的重核；AMD 則偏向部署數量更多、更輕量化的 CU。當前顯著的演進趨勢包括：
- 矩陣引擎的深度嵌入：原來以通用向量計算為主的 CU，正逐步將 Tensor/Matrix Core 作為一等公民嵌入，以應對 AI 計算範式的變化。
- 記憶體子系統的升級：隨著 HBM（高頻寬儲存器）的迭代，CU 內部的共享記憶體容量和頻寬同步擴張，以維持算力與訪存之間的平衡。
- 近存計算：對 CU 內部及附近的 SRAM 進行架構級最佳化，減少資料搬運能耗，這是推論晶片競爭的關鍵戰場。
6. 上游：決定 CU 競爭力的基石
計算單元的設計與製造高度依賴上游供應鏈的技術突破：
- 電子設計自動化工具與 IP：物理設計、標準單元庫、高速 SRAM 編譯器決定了 CU 的物理實現密度、能效和良率。
- 先進製造工藝：台積電 N4、N3 及未來的 N2 等製程節點，是 CU 整合度與能效比提升的物理基礎。環繞柵極（GAA）電晶體架構對降低漏電、提升效能至關重要。（來源：台積電 2023-2024 年技術研討會公開資訊。）
- 晶圓基板上晶片（CoWoS）先進封裝技術：高階 AI 晶片普遍依賴 CoWoS 技術。該封裝技術的產能（台積電截至 2024 年公開訊息稱正持續翻倍擴產）直接決定了整合有大量 CU 和 HBM 的晶片的總出貨量。
- 高頻寬儲存器（HBM）：SK 海力士、三星和美光生產的 HBM3/HBM3E 視訊記憶體，是 CU 算力不被“餓死”的前提。其迭代速度、產能和價格，是整個 AI 加速器產業鏈的關鍵約束變數。
7. 下游：釋放 CU 算力價值的場景
AI 晶片中的 CU 通過多層軟體棧，最終服務於各類應用場景：
- 深度學習架構：PyTorch、TensorFlow 等架構將使用者定義的模型轉化為計算圖，再由底層編譯器生成可在 CU 上高效執行的核心。
- 高效能推論引擎：TensorRT、vLLM、SGlang 等引擎針對特定模型架構和硬體拓撲，深度最佳化 CU 核心的執行順序和記憶體分配，在極低延遲下提供服務。
- AI 編譯器棧：XLA、MLIR、Triton 等通過自動化的圖最佳化、運算元融合與程式碼生成，極致壓榨 CU 的利用率，解放手動最佳化的人力成本。
- 垂直行業應用：在自動駕駛（即時多感測器融合感知）、量化金融（微秒級策略回測）、生命科學（蛋白質摺疊模擬）等領域，CU 的並行處理能力是滿足即時性與大規模計算需求的核心支柱。
8. 受益公司
以下公司憑藉其在 CU 相關產業鏈上的版面配置，直接或間接受益於 AI 算力需求的爆發式增長。
| 公司 | 角色與邏輯 | 備註 |
|---|---|---|
| NVIDIA | 提供定義行業標準的 CU/SM 架構及 CUDA 生態。從 Hopper 到 Blackwell 架構，每代均大幅提升 SM 內 Tensor Core 算力，是 AI 浪潮最直接受益人。 | 資料中心部門營收在 2024 財年（截至 2024 年 1 月）年增率增長 217%。 |
| AMD | 提供 CDNA 系列 AI 加速器，如 Instinct MI300X，採用 Chiplet 方案集成了大量 CU 和超大容量 HBM，在推論和 HPC 市場競爭力強勁。 | 2023 年 Q4 釋出後，MI300X 成為公司歷史上營收爬坡最快的產品，2024 年資料中心 GPU 營收展望多次上調。 |
| Intel | 擁有資料中心 GPU Max 系列（基於 Xe-HPC 架構）和 Gaudi 系列 AI 加速器，通過開放生態 oneAPI 吸引開發者，資本投入巨大以進入市場。 | 公開資料可見其在 2023-2024 年的多次釋出會上強調其產品在特定 HPC 負載中的效能優勢。 |
| 雲端廠商自研晶片 | Google（TPU）、亞馬遜（Trainium/Inferentia）、微軟（Maia）等均在自研晶片中部署了大量定製的脈動陣列或類 CU 的計算模組，以降低對外購 GPU 的依賴並最佳化內部工作負載的 TCO。 | 據各公司公開部落格與釋出會，這些晶片已大規模內部部署，用於支撐自有 AI 服務。 |
| EDA 與 IP 巨頭 | Synopsys、Cadence 提供物理設計、模擬工具；Arm 提供 Neoverse 等 CPU 核用於與計算陣列協同；CEVA、VeriSilicon 提供定製 DSP/AI 模組 IP。 | 這些“賣鏟人”的業績增長與 AI 晶片設計週期、客戶數量高度相關。 |
9. 市場規模
公開資料中未見以“計算單元”為口徑統計的獨立市場報告，其市場規模通常體現在其構成的 AI 晶片市場中。
- AI 晶片市場規模：據 Gartner、IDC 等分析機構於 2024 年 Q1-Q2 釋出的多份報告估算，全球用於資料中心的 AI 加速器市場規模在 2024 年預計達到 600 億至 800 億美元區間，並預計在 2027-2028 年間突破 1500 億美元，年複合增長率（CAGR）超 30%。（注：來自分析師報告的二手傳播資料，非直接一手資料，具體數值因機構口徑而異。）
- 需求結構：雲端端訓練市場由 NVIDIA 佔據絕對主導份額。雲端端推論市場相對分散，CPU、GPU 及各類自研專用晶片（ASIC）共同瓜分這一高速增長的市場。
- 關鍵驅動：大語言模型（LLM）的引數量每 1.5-2 年增長一個數量級，其對 CU-小時（Compute Unit - Hour）的消耗呈指數級增長，是市場規模擴張的底層動力。Multi-Everything（混合專家模型，MoE）架構的普及更是在單次推論中啟用更多計算單元，進一步推高了對總計算量的需求。
10. 玩家對比：效能與能效
由於具體產品的峰值算力資料隨時重新整理，此處僅提供定性比較架構。精確規格請以各公司最新產品手冊為準。
| 對比維度 | NVIDIA 旗艦 GPU | AMD 旗艦加速器 | 雲端廠商自研 ASIC（如 TPU v5） | 初創公司推論晶片 |
|---|---|---|---|---|
| 通用算力（FP8） | 極高，通常為行業標杆級 | 極高，與 NVIDIA 同屬第一梯隊 | 高，但設計目標與通用 GPU 不同 | 高，專門針對特定運算元極致最佳化 |
| 原理異構單元效率 | Tensor Core 效率高，相容性好 | Matrix Core 效率高，特定場景可佔優 | 脈動陣列效率極高，限制少 | 極高，但通用性遠弱於 GPU |
| 視訊記憶體容量與頻寬 | 大容量 HBM3/HBM3e，頻寬高 | 超大容量 HBM，容量常具優勢 | 配置靈活，常與自家架構繫結 | 超大容量片上 SRAM，替代 HBM |
| 軟體生態成熟度 | 極度成熟，參考資料完備 | 快速成熟中，HIP 相容性良好 | 封閉但深度最佳化，開發門檻高 | 極封閉，需使用其專有工具鏈 |
| 部署靈活性 | 極高，幾乎所有雲端均可獲得 | 中高，獲取渠道正快速拓展 | 僅限特定雲端平台供應商 | 僅通過該硬體廠商的雲端服務獲取 |
制勝關鍵點：NVIDIA 的壓倒性優勢在於其“硬體-軟體-系統”三位一體的封閉但高效的飛輪；AMD 的策略是提供開放且具有價效比的大容量視訊記憶體方案；自研 ASIC 追求極致的 TCO 最佳化，但受限於軟體生態的普適性。
11. 風險
- 供需錯配風險：先進製造（如 N3 製程）與先進封裝（CoWoS）產能的擴張速度，可能跟不上 AI 需求的爆炸式增長，導致高階 CU 晶片長期處於缺貨狀態，價格居高不下，阻礙技術普惠。
- 軟體生態鎖定風險：CUDA 生態的強大黏性是後發者的最大壁壘。即使存在理論上硬體價效比更高的競爭產品，其市場滲透率也會因高昂的軟體遷移與驗證成本而增長緩慢。
- 架構利用率不達預期風險：隨著模型結構的快速演進（如稀疏化 Mixture-of-Experts 的 All-to-All 通訊與動態路由），通用 CU 設計可能面臨實際利用率（MFU）持續走低的挑戰。晶片算力數字的紙面高增長，與終端使用者能感受到的有效算力增長之間的差距可能拉大。
- 地緣政治與供應鏈集中度風險：先進製程、CoWoS 封裝和 HBM 產品的生產高度集中在東亞少數公司與地區。全球貿易政策與地緣政治的任何變化，都可能對 CU 的穩定供應構成重大且不可預知的影響。
12. 誤讀糾偏
❌ 誤讀一：“CU 數量越多，AI 效能就一定越好。” ✅ 事實：這是一場典型的“數字遊戲”誤區。AI 效能是算力、訪存頻寬和軟體協同效率三者乘積的結果。若一顆晶片擁有大量 CU，但視訊記憶體頻寬嚴重不足，會導致大量 CU 處於資料“飢餓”狀態，實際峰值效能利用率可能不足 30%。此外，不同代際 CU 的微架構（如是否集成了專用矩陣單元）差異巨大。評估時必須基於 MLPerf 等權威基準測試的實際模型吞吐表現，而非單純比較參數列中的 CU 數量。
❌ 誤讀二：“一個 GPU 的 CU 就等同於一個小型 CPU 核心。” ✅ 事實：兩者專攻截然不同。CPU 核心為序列效能最佳化，擁有複雜的分支預測、亂序執行和深度快取層級，以快速響應不規則的邏輯控制流。而 CU 為並行吞吐量最佳化，幾乎擯棄了複雜的分支預測與重新命名機制，依靠海量執行緒的快速切換來隱藏延遲。對於存在大量邏輯判斷和任務依賴的程式碼，CU 的效率將斷崖式下跌。兩者是不同生態位下的設計，無法直接對比。
❌ 誤讀三：“只要用了 Tensor Core，效能就是標稱峰值。” ✅ 事實：Tensor Core 的標稱峰值（如 1 PetaFLOP/s）是在所有資料完美在片內、無任何搬運開銷的理想模型下達成的。實際運算需要先執行資料搬運指令，再執行計算指令，還需要考慮指令流水線的啟動和排空開銷。只有通過精巧的軟體流水排布和分塊策略，才能接近峰值。實際應用通常能達到峰值的 40%~70% 即屬優秀最佳化水平。
13. 最新事件
- （2024 年 3 月）輝達釋出新一代 Blackwell 架構：新架構將 SM 內部設計與專用加速單元進一步融合，引入了新的第二代 Transformer 引擎，綜合 FP4/FP6/FP8 精度以成倍提升推論吞吐。其利用 NVLink-Ch-C2C 實現多 Die 互連，代表了當前 CU 整合與設計的最高技術水準。
- （2024 年 6 月）AMD 釋出 MI325X 加速器：該產品作為 MI300X 的迭代，搭載了更大容量的新一代 HBM3E 視訊記憶體，進一步強化了其“大視訊記憶體、高頻寬”的策略定位，將競爭焦點拉向“每 CU 可用的資料供給量”這一維度。
- （2024 年 5-7 月）雲端廠商自研晶片規模落地：Google宣佈其自研的 TPU v5p 已大規模用於其下一代模型訓練；微軟公佈其 Maia 100 晶片的部署細節，專為 Azure 雲端上的大型模型推論負載最佳化。這標誌著專用計算陣列設計路線的可行性正得到市場驗證。
- （2024 年全年）推論最佳化驅動 CU 結構創新：多家初創公司及上市巨頭推出面向推論的計算卡，核心邏輯是在晶片內部佈置更大容量的 SRAM，以替代部分 HBM 的訪問，從而降低延遲和功耗。這使得傳統 CU 的“計算-訪存”平衡設計面臨新一輪評估。
14. 追蹤指標
- 出廠理論峰值算力：追蹤旗艦 AI 晶片的 FP8/FP16/INT8 峰值 TFLOPS/TOPS 值，這是硬體效能的上限基線。
- 視訊記憶體頻寬與容量：關注 HBM 的迭代（HBM3 -> HBM3E -> HBM4）及配置容量（如 192GB， 288GB），直接得出每 TFLOPS 算力對應的頻寬值（Byte/FLOP 比），以衡量訪存平衡度。
- MLPerf 基準測試成績：每代晶片用於真實模型（如 GPT-3， Llama 2， Stable Diffusion）的訓練和推論成績，是評估軟硬體協同效率（即峰值利用率）的最權威公開指標。
- 先進製程與封裝產能動態：台積電等晶圓廠的月度營收簡報，以及其法說會上關於 CoWoS、HBM 產能擴張進度的公開評論，是判斷上游供應瓶頸何時緩解的核心依據。
- 軟體生態關鍵適配進度：關注 ROCm 對 PyTorch 新特性的支援延時、oneAPI 的關鍵軟體包更新、主流第三方 CUDA 庫（如 FA2）在非 NVIDIA 硬體上的移植進展。
15. 信源
- NVIDIA 官方文件：《CUDA C++ Programming Guide》中的 “Hardware Implementation” 章節；歷代架構（Turing， Ampere, Hopper, Blackwell）技術白皮書。NVIDIA 官網。
- AMD 官方文件：“RDNA 3 Instruction Set Architecture Reference Guide”，“AMD CDNA 3 Architecture” 白皮書。AMD 官網。
- Intel 官方文件：關於 Xe-HPG 及 Xe-HPC 微架構的白皮書與開發者指南。Intel 官網。
- 深度學習編譯器：Triton 官方文件與 Github 程式碼庫；Cutlass 庫對 Tensor Core 分塊策略的原始碼實現。GitHub Public Repos。
- 效能模型研究：Williams, S., Waterman, A., & Patterson, D. (2009). “Roofline: An Insightful Visual Performance Model for Multicore Architectures.” Communications of the ACM.