矩陣核心
⚠️ 資料宣告：本次檢索全部返回 403 錯誤，本頁技術規格依據廠商公開架構白皮書與行業共識性知識整理，具體產品代際引數標註為**[架構公開文件]或[行業通識]**，未有檢索交叉驗證的細節均採用定性表述，不編造具體數字。
3 秒看懂
一句話：矩陣核心是 GPU/NPU 內部專為矩陣乘加（MMA）運算設計的硬體加速單元，是 AI 訓練和推論吞吐的決定性引擎——沒有它，現代大型模型基本跑不動。
關鍵詞聯想：Tensor Core → 混合精度 → 脈動陣列 → 矩陣乘加 → AI 算力天花板
3 分鐘產業解釋
為什麼需要”專用矩陣單元”？
傳統 GPU 的 CUDA Core（或流處理器）是標量/向量運算單元——每個核心一次做一次乘加（MAC）。但深度學習的核心計算（矩陣乘法）天然具有高並行、規整資料流的特點。
| 對比維度 | 通用 CUDA Core | 矩陣核心 |
|---|---|---|
| 運算粒度 | 標量（1 MAC/cycle/核） | 矩陣塊（小矩陣一次完成） |
| 設計哲學 | 靈活通用 | 資料流定向最佳化 |
| 能效比 | 較低 | 顯著更高（同製程下） |
| 程式設計模型 | 顯式指令排程 | 需呼叫專用指令/庫 |
產業意義：
- 2016–2017 年，AI 訓練規模從百萬引數跳到億級引數，純靠堆 CUDA Core 的能效比和晶片面積已經不可持續
- 矩陣核心通過在硬體層面固化矩陣乘加的計算模式，用專用資料通路+累加器實現極高吞吐
- 這一設計直接催生了 GPT-3、LLaMA 等千億引數模型的可行性
誰在做？
| 廠商 | 品牌名 | 備註 |
|---|---|---|
| NVIDIA | Tensor Core | 業界標杆，從 Volta 架構（2017）開始引入 |
| AMD | Matrix Core（CDNA 架構） | MI200/MI300 系列搭載 |
| Intel | XMX（Xe Matrix Extensions） | 用於資料中心 GPU 和 Meteor Lake NPU |
| MXU（Matrix Multiply Unit） | TPU 內部的矩陣單元，脈動陣列設計 | |
| 華為 | Cube Unit | 昇騰 NPU 的矩陣計算核心 |
以上品牌名歸屬均為**[各廠商公開架構文件]**。
15 分鐘專家深入
核心機制：一句話版
矩陣核心在一個或極少數時鐘週期內完成一個固定維度的小矩陣乘加（通常是 D = A × B + C，其中 A/B/C/D 均為小矩陣/張量塊）。
工作流示意
┌──────────────────────────────────────────────────┐
│ 單個 Tensor Core 週期 │
│ │
│ 矩陣 A (m×k) × 矩陣 B (k×n) + 矩陣 C (m×n) │
│ ↓ ↓ ↓ │
│ [片上暫存器/共享記憶體載入] │
│ ↓ ↓ ↓ │
│ ┌─────────────────────────────────┐ │
│ │ 脈動陣列 / 資料流計算核 │ │
│ │ (Systolic Array / Dataflow) │ │
│ └─────────────┬───────────────────┘ │
│ ↓ │
│ 輸出矩陣 D (m×n) │
│ 寫回暫存器/共享記憶體 │
└──────────────────────────────────────────────────┘關鍵設計選擇
1. 運算粒度（Tile Size）
矩陣核心每次運算處理的矩陣塊維度（如 16×16、32×8 等）因架構代際和精度而異。更大粒度 → 更高吞吐，但靈活性下降、資料搬運成本上升。具體維度因廠商/代際而異，參見各架構白皮書，此處不編造具體數字。
2. 混合精度支援
現代矩陣核心普遍支援混合精度（Mixed Precision）：
- 輸入精度：FP16、BF16、TF32、FP8、INT8 等（低精度，頻寬友好）
- 累加精度：FP32（保精度，避免溢位）
- 這是深度學習”訓練用 FP32 累加，輸入用低精度”需求的硬體對映
3. 資料搬運是真正瓶頸
矩陣核心本身計算極快，但喂資料的速度往往跟不上。因此：
- 暫存器檔案（Register File）必須足夠大
- 共享記憶體/L1 快取的頻寬是關鍵
- 軟體層面需要通過 tiling（分塊）+ prefetch（預取）+ 雙緩衝等技術隱藏訪存延遲
NVIDIA 在 Hopper 架構中引入的 TMA（Tensor Memory Accelerator）就是為了解決這一問題的專用硬體**[NVIDIA Hopper 架構白皮書]**。
與通用 CUDA Core 的關係
矩陣核心不是獨立執行的——它通常作為 SM（Streaming Multiprocessor）內的子單元存在。一個 SM 內可能包含：
- 若干 CUDA Core（FP32/INT32）
- 若干 Tensor Core / Matrix Core
- SFU、LD/ST 單元等
排程關係：CUDA Core 執行通用指令；Tensor Core 由專用 warp 指令觸發（如 NVIDIA 的 mma.sync、wgmma 等）。
技術原理（最深）
脈動陣列 vs. 資料流
矩陣核心的底層計算結構主要有兩大流派：
A. 脈動陣列（Systolic Array）
輸入向量 A: [a0, a1, a2, a3] →→→
↓ ↓ ↓ ↓
┌────┬────┬────┬────┐
時間 t=0 │ PE │ PE │ PE │ PE │ ← 權重矩陣 B 駐留
│ × │ × │ × │ × │
└─┬──┴─┬──┴─┬──┴─┬──┘
↓ ↓ ↓ ↓
┌────┬────┬────┬────┐
時間 t=1 │ PE │ PE │ PE │ PE │
│ + │ + │ + │ + │ ← 部分和累加
└────┴────┴────┴────┘
↓ ↓ ↓ ↓
輸出向量 C: [c0, c1, c2, c3]- Google TPU 是經典脈動陣列設計**[Google TPU 論文/公開資料]**
- 特點：資料在 PE（處理單元）間流動，極低控制開銷，但靈活性受限
B. 資料流（Dataflow）/ 層次化 Tiling
- NVIDIA Tensor Core 更偏向這種模式**[架構分析行業通識]**
- 資料被切分為小 tile，通過專用暫存器通路喂入矩陣計算單元
- 與片上快取/共享記憶體的互動更靈活
精度-吞吐量權衡矩陣（定性）
| 精度 | 每週期吞吐（相對） | 典型應用場景 |
|---|---|---|
| FP32 | 基準（1×） | 傳統科學計算 |
| TF32 | ~2-8× | 訓練（NVIDIA 自動升級） |
| FP16/BF16 | ~4-16× | 混合精度訓練 |
| FP8 | ~8-32× | 推論/部分訓練 |
| INT8 | ~8-32× | 推論量化 |
⚠️ 以上倍率關係為定性趨勢描述，具體數值因架構代際、SM 配置等差異很大，參見各架構白皮書。
程式設計介面（以 NVIDIA 為例）
層級 1：cuBLAS / cuDNN（庫呼叫，使用者無需直接操作 TC）
↓
層級 2：WMMA API（C++ 模板，warp 級矩陣操作）
↓
層級 3：MMA PTX 指令 / wgmma（Hopper，執行緒級直接排程 TC）
↓
層級 4：硬體（Tensor Core 物理單元）- wgmma（Warpgroup MMA）是 Hopper 架構引入的新指令，允許更大規模的非同步矩陣乘，配合 TMA 實現計算與訪存重疊**[NVIDIA Hopper 架構白皮書]**。
技術演進史
時間軸（NVIDIA 視角，行業標杆）
2017 Volta (GV100)
└─ 首代 Tensor Core 引入
· FP16 輸入, FP32 累加
· 每 SM 有 Tensor Core 單元
· 首次使混合精度訓練成為實用方案
2018 Turing (TU102)
└─ Tensor Core 第二代
· 新增 INT8/INT4/INT1 支援（推論加速）
· 光追+AI 雙輪驅動
2020 Ampere (GA100)
└─ Tensor Core 第三代
· 新增 TF32 格式（自動精度提升）
· 新增 BF16 支援
· 結構化稀疏（2:4 稀疏）硬體加速
· A100 成為資料中心訓練主力
2022 Hopper (GH100)
└─ Tensor Core 第四代
· 新增 FP8 支援
· wgmma 指令（更大粒度非同步 MMA）
· TMA（張量記憶體加速器）配合
· H100 及後續 H200
2024 Blackwell (GB200/GB300 系列)
└─ Tensor Core 進化
· 第五代 Tensor Core [架構公開資訊]
· 進一步提升 FP4/FP8 吞吐
· 與 NVLink 5.0、大容量 HBM 配合以上時間線和代際關係來自 [NVIDIA 架構釋出白皮書及公開技術活動]。
AMD 線簡述
- CDNA 1（MI100）：引入 Matrix Core，支援 FP16/INT8
- CDNA 2（MI200 系列）：擴充套件 FP64 矩陣支援（面向 HPC+AI 混合）
- CDNA 3（MI300 系列）：進一步強化 AI 訓練/推論能力
技術路線對比
| 維度 | NVIDIA Tensor Core | AMD Matrix Core | Google MXU | 華為 Cube Unit |
|---|---|---|---|---|
| 底層架構 | 資料流 + 層次化 Tiling | 類似（公開資訊有限） | 經典脈動陣列 | 脈動陣列 [公開資料] |
| 精度支援 | FP64→FP4、INT8 等全譜 | FP64→FP8、INT8 | FP32/BF16/INT8 等 | FP16/INT8 等 [公開有限] |
| 程式設計模型 | CUDA + cuBLAS/cuDNN | ROCm + hipBLAS | XLA/JAX | CANN/MindSpore |
| 生態成熟度 | 最高 | 追趕中 | 中（自用為主） | 國內生態 |
| 關鍵差異化 | 規模 + 軟體棧 | 價效比 + 開放生態 | 定製化 + TPU 系統整合 | 國產替代 + 昇騰叢集 |
具體效能資料因產品型號/配置/功耗牆差異極大，本表不列具體 TFLOPS 數字，避免誤導。
上下游
上游：誰給矩陣核心”餵飯”
┌─────────────────────────────────────────────────┐
│ 矩陣核心 (Matrix Core) │
│ ↑ ↑ ↑ │
│ ┌────────────┼─┼─┼────────────┐ │
│ │ │ │ │ │ │
│ ┌────┴────┐ ┌─────┴─┴─┴─────┐ ┌───┴───┐ │
│ │HBM/GDDR│ │ 片上SRAM快取 │ │互連匯流排│ │
│ │(視訊記憶體) │ │ (L1/共享記憶體) │ │NVLink │ │
│ └────┬────┘ └───────────────┘ └───┬───┘ │
│ │ │ │
│ ┌─────┴──────┐ ┌────────┴────────┐ │
│ │SK海力士/三星│ │NVLink Switch / │ │
│ │美光(HBM供應)│ │網路交換晶片 │ │
│ └────────────┘ └─────────────────┘ │
└─────────────────────────────────────────────────┘下游：誰在用矩陣核心
- AI 訓練：GPT、LLaMA、Gemini 等大型模型預訓練
- AI 推論：大型模型線上服務、RAG、Agent
- 科學計算/HPC：分子動力學、天氣模擬（FP64 矩陣核心愈發重要）
- 推薦系統：Embedding+Dense 層的矩陣運算
- 自動駕駛：感知模型推論（邊緣端 NPU 也含矩陣單元）
關鍵指標
評估矩陣核心效能的核心引數：
| 指標 | 含義 | 重要性 |
|---|---|---|
| 峰值 TFLOPS | 理論浮點吞吐（特定精度） | 衡量計算天花板 |
| 實際利用率 (MFU) | 實際吞吐 / 理論峰值 | 衡量軟硬協同效率 |
| 支援精度譜 | 可用的浮點/整數精度種類 | 決定適用場景寬度 |
| 片上快取頻寬 | 暫存器/共享記憶體頻寬 | 喂資料的速度 |
| 片外頻寬 | HBM/GDDR 頻寬 | 大型模型訓練的資料瓶頸 |
| 能效比 | TFLOPS/W | 資料中心 TCO 核心 |
| 面積效率 | TFLOPS/mm² | 晶片成本相關 |
MFU（Model FLOPS Utilization）是當前大型模型訓練的核心效率指標，業界報告中經常引用**[行業分析報告通用指標]**。
供需與市場資料
算力需求側
- AI 訓練算力需求近年呈指數增長（“scaling law” 驅動），模型引數量×資料量≈計算量持續攀升
- 推論側隨 AI 應用普及，需求曲線正在追趕訓練側
- 關鍵驅動：更大型模型、更長上下文、多模態、Agent 工作流
供給側格局
| 環節 | 主要供應商 | 備註 |
|---|---|---|
| AI 訓練 GPU | NVIDIA（絕對主導）、AMD（MI300X 追趕）、華為（昇騰） | NVIDIA 份額據行業估算約 80%+ [行業報告估算] |
| HBM 儲存 | SK 海力士、三星、美光 | HBM 供應緊張，是產能瓶頸之一 |
| 先進封裝 | 台積電（CoWoS）、日月光 | CoWoS 產能是另一個瓶頸 |
| 代工 | 台積電（N4/N5 為主力節點） | NVIDIA/AMD 資料中心晶片的主要代工方 |
⚠️ 以上市場份額為行業估算口徑，非精確審計資料。
供需張力
需求端: AI 模型規模指數增長 → 需要更多、更強矩陣核心
↕ 張力
供給端: 先進製程產能 + HBM 產能 + 先進封裝產能 = 共同約束
（三者缺一不可，木桶效應）代表公司與資本對映
算力層（做矩陣核心的）
| 公司 | 關鍵產品 | A股/港股/美股對映 | 關注點 |
|---|---|---|---|
| NVIDIA | H100/H200/B200 | NVDA（美） | 資料中心營收增速、Blackwell 良率/產能 |
| AMD | MI300X/MI350 | AMD（美） | 與 NVIDIA 的份額追趕、ROCm 生態 |
| 華為（海思） | 昇騰 910B/910C | 非上市，A 股關聯（神州數碼、拓維資訊等） | 國產替代進度 |
| Intel | Gaudi 3 | INTC（美） | 資料中心 AI 加速器份額 |
| 寒武紀 | 思元系列 | 688256（A 股） | 國產 AI 晶片驗證進度 |
儲存層（喂資料給矩陣核心的）
| 公司 | 產品 | 對映 | 關注點 |
|---|---|---|---|
| SK 海力士 | HBM3E | 000660.KS（韓） | HBM 產能擴張、良率 |
| 三星 | HBM3E | 005930.KS（韓） | 追趕海力士進度 |
| 美光 | HBM3E | MU（美） | HBM 市場份額提升 |
封裝/製造層
| 公司 | 角色 | 對映 |
|---|---|---|
| 台積電 | CoWoS 先進封裝、N4/N5 代工 | TSM（美）/2330.TW |
| 日月光 | 先進封裝 | 3711.TW |
投資邏輯
核心邏輯鏈
AI 模型規模增長
↓
單位模型計算量 × 模型數量 = 總算力需求
↓
矩陣核心是算力的物理載體
↓
供給側受到製程/封裝/儲存三重約束
↓
供需缺口 → 定價權 → 盈利確定性三個層次的”掘金邏輯”
- 賣鏟子（最確定）：NVIDIA 等 GPU 廠商、SK 海力士（HBM）、台積電（封裝/代工）
- 用鏟子（高彈性）：雲端運算廠商（Azure、AWS、阿里雲端等）—— 算力利用率和獲利率
- 造鏟子的零件（細分機會）：EDA（Synopsys/Cadence）、IP（Arm）、裝置（ASML）、材料
風險因素
- 供給瓶頸緩解：如果 HBM/CoWoS 產能大幅擴張，緊張程度下降
- 替代架構：ASIC（如 Google TPU、AWS Trainium）可能蠶食 GPU 份額
- 模型效率革命：MoE、稀疏化、量化等技術可能降低單位模型的硬體需求
- 地緣政治：出口管制影響中國市場供需格局
常見誤讀糾偏
❌ 誤讀 1：“Tensor Core 就是 GPU 的 CPU”
糾偏：Tensor Core 不是獨立處理器，它是 SM 內部的一個專用子單元，需要通過特定的 warp 指令觸發，無法獨立執行程式。它更像是一個”矩陣乘法加速器模組”，不是通用計算核心。整個 CUDA Core + Tensor Core + 共享記憶體 + 暫存器檔案的組合才構成一個完整的 SM。
❌ 誤讀 2：“峰值 TFLOPS 越高，AI 訓練越快”
糾偏：峰值 TFLOPS 是理論上限，實際訓練速度取決於MFU（Model FLOPS Utilization）——即實際有效吞吐佔峰值的比例。MFU 受軟體棧最佳化、通訊效率（如 AllReduce）、記憶體頻寬、批大小等多重因素影響。一個 500 TFLOPS 但 MFU 30% 的系統，實際表現可能不如 300 TFLOPS 但 MFU 60% 的系統。
❌ 誤讀 3：“FP8 訓練就是用 FP8 跑所有計算”
糾偏：混合精度訓練中，權重更新和損失計算仍需 FP32 或 BF16 累加，FP8 僅用於部分前向/反向計算的輸入和輸出。這是為了維持訓練穩定性——低精度累加會導致嚴重的數值漂移。具體哪些層、哪些操作用低精度，需要精細的數值分析和工程調優。
❌ 誤讀 4：“矩陣核心只用於 AI”
糾偏：矩陣核心也廣泛用於 HPC/科學計算場景（如 dense linear algebra、CFD、分子動力學）。AMD MI200 系列特別強調 FP64 矩陣核心效能，就是為了同時覆蓋 AI 和傳統 HPC 市場。
學習路徑
入門（0→1）
- 瞭解 GPU 基礎架構：CUDA Core、SM、warp 概念
- 閱讀 NVIDIA 官方部落格：“Tensor Cores: Versatility for HPC & AI”
- 體驗一個簡單的混合精度訓練（PyTorch AMP 教程）
進階（1→2）
- 精讀 NVIDIA Ampere/Hopper 架構白皮書（官方 PDF）
- 學習 WMMA API 或 CUTLASS 庫，理解程式設計介面
- 理解 MFU 的計算方式和影響因素（參考 Megatron-LM 論文）
專家（2→3）
- 研讀 CUTLASS 原始碼，理解底層 tiling/swizzle 策略
- 對比 NVIDIA vs. AMD vs. TPU 的矩陣單元設計哲學
- 關注 PTX ISA 中 mma/wgmma 指令細節
- 追蹤 FP4、Microscaling (MX) 等新興格式的硬體支援進展
一句話總結
矩陣核心是 AI 算力的物理引擎——它通過在硬體層面固化矩陣乘加運算，將深度學習的計算瓶頸從”能不能算”變成”能不能喂夠資料”，是理解當前 AI 晶片競爭格局的關鍵入口。
延伸閱讀與來源
權威架構文件
- NVIDIA Hopper Architecture In-Depth（NVIDIA 官方技術部落格）[NVIDIA 架構白皮書]
- NVIDIA Ampere Architecture In-Depth（同上）
- AMD CDNA 3 Architecture（AMD 官方文件）
- Google TPU 論文：“In-Datacenter Performance Analysis of a Tensor Processing Unit” [ISCA 2017]
開原始碼
- CUTLASS（NVIDIA 開源矩陣計算模板庫）：github.com/NVIDIA/cutlass
- Triton（OpenAI 編譯器，可自動生成 Tensor Core 程式碼）
行業分析
- AI 半導體市場追蹤報告（各大投行/研究機構定期釋出）
- TrendForce/Counterpoint 等半導體研究機構的 HBM/先進封裝追蹤
學術論文
- Micikevicius et al., “Mixed Precision Training” (ICLR 2018) — 混合精度訓練的奠基論文
- Shoeybi et al., “Megatron-LM” — 大規模分散式訓練中的矩陣核心利用率分析
免責宣告：本頁為技術概念學習材料，不構成投資建議。市場有風險，投資需謹慎。技術引數以各廠商最新官方文件為準。