Tensor Core

3秒看懂

Tensor Core 是 NVIDIA GPU 內部專門用於加速矩陣乘加運算的硬體單元。它在一塊矽片上直接實現了 D = A × B + C 的分塊計算原語，支援混合精度：用 FP16、BF16、TF32、INT8 甚至 FP8 等較低精度輸入 A 和 B，乘積以 FP32 等較高精度累加。這意味著一次 Tensor Core 操作可在數百個時鐘週期內完成數千次等效乘加，為深度學習訓練與推論提供相比傳統 CUDA Core 數量級級別的吞吐量飛躍。從 2017 年 Volta 架構首發至今，Tensor Core 已成為所有大語言模型、擴散模型、科學計算等 AI 負載運轉不可或缺的計算底座。

3分鐘產業解釋

Tensor Core 的本質不是一顆獨立的晶片，而是嵌入在 NVIDIA GPU 每個流式多處理器（SM）內的一組硬體化矩陣乘加引擎。傳統 CUDA Core 處理矩陣乘法時，必須將其展開成大量標量 FMA 指令，資料搬運和指令排程開銷巨大。Tensor Core 在硬體層面原生認知“矩陣分塊”這一概念，一次指令就能驅動一個固定尺寸（如 16×16×16）的矩陣分塊完成乘加。

在產業實踐中，程式設計師幾乎不需要直接編寫 Tensor Core 指令。訓練架構 PyTorch、TensorFlow 或 JAX 在呼叫卷積、全連線或注意力運算元時，NVIDIA 的底層庫 cuDNN、cuBLAS 和開源模板庫 CUTLASS 會自動將計算圖對映為 Tensor Core 可識別的高效 kernel。這種“無感加速”效應讓一塊 GPU 的 AI 訓練能力在 Volta→Ampere→Hopper→Blackwell 的代際更迭中提升了數十倍，直接推動了大型模型從幾千億引數到萬億引數的規模躍遷。可以說，沒有 Tensor Core 的硬體化矩陣乘加，以 ChatGPT 為代表的大型模型產業浪潮至少會被算力瓶頸向後推移數年。

技術原理

Tensor Core 執行的單條核心指令是一條混合精度融合乘加（Fused Multiply-Add, FMA）。在一臺抽象的暫存器機上，這條指令完成：

D_frag[m][n] += A_frag[m][k] × B_frag[k][n]

其中 m,n,k 是由分塊尺寸決定的迴圈邊界。以 Ampere 架構的 TF32 模式為例，一個 warp（32 個執行緒）中每條 mma.sync 指令驅動 16×16×16 的分塊矩陣乘加。這裡的“16×16×16”並不是在一個時鐘週期內全部算完，而是通過流水線被拆解成序列執行的子步驟，在約 8~16 個時鐘週期內完整交付，掩藏延遲靠的是發射多組獨立 warp 指令的流水線並行。

內部執行模型

由程式設計師視角俯視，一個完整的 Tensor Core 呼叫分為四步流水：

1. 資料搬入：執行緒塊將全域性記憶體（HBM）中的矩陣片段以 coalesced 訪問分批載入到每個 SM 共享記憶體（Shared Memory）。
2. 非同步複製：藉助 Ampere 及後續架構引入的非同步複製指令（cp.async），從共享記憶體將當前分塊資料非阻塞地搬入每個執行緒的私有暫存器片段，同時載入下一組分塊地址。
3. MMA 發射：warp scheduler 向 Tensor Core 發射 mma.sync 指令，硬體內部的脈動陣列或多級乘法樹開始工作，輸入端 A/B 暫存器片段持續流入，輸出端 FP32 累加器不斷更新部分和。
4. 寫回與積累：經過所有 k 維度分塊輪詢後，最終結果由暫存器寫回共享記憶體或直接存回全域性記憶體。

硬體微架構

NVIDIA 官方未完全公開 Tensor Core 精確門級實現，但綜合白皮書和學術界逆向分析，其核心是多重 FP16/INT8 乘法器陣列，佈置成類似脈動陣列的二維網格。對於 TF32 模式，輸入端 A 和 B 以 19 位指數與 10 位尾數的截短表示出現（和標準 FP32 相同指數，但尾數從 23 位截為 10 位），乘法器產生截短部分積後流入 FP32 全寬累加器，最後進行一次舍入，從而在保證深度學習結果基本無損的前提下顯著縮減乘法器面積和功耗。

Hopper 架構引入 FP8（E4M3 和 E5M2），並配備 Transformer Engine 協同管理。Transformer Engine 在訓練時以 layer-wise 粒度分析當前張量統計，動態決定將該層投射為 FP8 還是保持在 FP16，由硬體和軟體庫聯合吸收量化誤差，以此將大型模型訓練吞吐比 BF16 模式再提升一個臺階。

軟體流水線與共享記憶體編排

Tensor Core 利用率的最大瓶頸不是算力本身，而是資料供給。一個精心最佳化過的 kernel 會使用軟體流水線交替發射 MMA 指令與資料搬運指令：warp 在計算第 i 個分塊的同時，載入第 i+1 分塊的資料，隱藏全域性記憶體和共享記憶體的訪問延遲。共享記憶體中 A 和 B 矩陣的版面配置必須避免 bank 衝突（即多個執行緒同時訪問同一記憶體 bank），其切片維度也要與 Tensor Core 的分塊形狀對齊，否則會在硬體內部產生無效週期。

結構化稀疏

Ampere 架構引入對 2:4 結構化稀疏的原生支援。權重矩陣中每 4 個連續元素至少存在 2 個零值，Tensor Core 通過專門的稀疏標記位元組跳過這些零值的乘加運算，在理想條件下可使有效吞吐量相比稠密模式翻倍。實際收益高度依賴剪枝演算法能否在不損傷模型精度的前提下達成 2:4 離散稀疏模式。

關鍵引數

評估一顆 Tensor Core 或整個 GPU 的有效計算能力，需要觀察以下幾個維度。所有指標均需區分標稱精度（如 FP16/TF32/FP8），同類對比才有意義。

• 峰值吞吐量（TFLOPS 或 TOPS）：理論最大運算速率，通常由公式 Tensor Core 頻率 × 活躍 Tensor Core 數 × 每核每週期運算元 推算。以 NVIDIA H100 SXM5（2022 年釋出）為例，NVIDIA 公佈資料（來源：NVIDIA H100 白皮書，2022 年 9 月）顯示，在 BF16/FP16 精度下稠密 Tensor Core 峰值約為 990 TFLOPS，FP8 下可達約 1979 TFLOPS，INT8 下為約 1979 TOPS。實際應用中，該數值嚴格受制於記憶體頻寬、算數強度及晶片功耗牆。
• 實際利用率（Achieved FLOPS / Peak FLOPS）：衡量特定工作負載對硬體的填充程度。典型 GEMM kernel 若經過 CUTLASS 精心調優，實測可達 75%~85% 的有效利用率；普通未手動分塊的 PyTorch 運算元可能僅 20%~40%。
• 支援精度組合：Tensor Core 各代之間最重要的差異之一是可用的輸入/累加精度矩陣。例如，Ampere 引入 TF32（輸入截短 FP32，累加 FP32），Hopper 引入 FP8（E4M3/E5M2），Blackwell（2024 年釋出）引入 FP4/FP6。精度越低的模式峰值 TOPS 越高，但模型訓練與推論可接受的精度下限各有門檻。
• 分塊尺寸與暫存器壓力：Tensor Core 的分塊形狀（如 16×16×16、32×16×16）決定了每次 MMA 指令消耗的暫存器數量和共享記憶體版面配置。分塊過大會導致每個 warp 的暫存器瓶頸從而降低流處理器佔用率（occupancy），分塊過小又會增加指令發射頻率與資料搬運比例。
• 能效比（TFLOPS/W）：利用專用資料通路和低精度乘法器，Tensor Core 執行 FP16 矩陣乘加時的能效通常可比傳統 CUDA Core FP32 FMA 高出 5~10 倍（基於 Ampere GA100 架構白皮書相對能效對比段落推算，2020 年釋出）。這是大型模型訓練資料中心 TCO 管理的核心變數。
• 視訊記憶體頻寬與 HBM 代際：Tensor Core 吞吐量受制於記憶體頻寬的程度遠高於通用 CUDA Core，因為矩陣乘法屬於典型的“高算力、高頻寬”負載。H100 搭配六堆 HBM3（總頻寬約 3.35 TB/s，來源：NVIDIA H100 產品規格表，2022），Blackwell B200 搭配八堆 HBM3e（約 8 TB/s，來源：NVIDIA 2024 年 GTC 釋出資料），每一代記憶體升級都是 Tensor Core 實際發揮算力的硬約束。

注意：除 NVIDIA 官方白皮書數字外，AMD MI300X（2023 年釋出，來源：AMD 2023 資料中心與 AI 技術釋出會）公開的 BF16/FP16 峰值約為 1.3 PFLOPS（基於 Matrix Core）。Tensor Core 與 Matrix Core 的峰值對比並不能直接等同於實際訓練速度，因為軟體棧成熟度和算力利用率差距巨大。

技術路線

第一代（2017 年，Volta） 首次在 GV100 GPU 中搭載 Tensor Core，支援 FP16 輸入的矩陣乘加、FP32 累加。Volta 有 640 個 Tensor Core，混合精度訓練成為現實。PyTorch 1.0 通過 torch.cuda.amp 使開發者幾乎零程式碼改寫即可享用混合精度加速。

第二代（2018 年，Turing） 面向消費市場（GeForce RTX 20 系列）和 Quadro RTX 專業卡，Tensor Core 新增 INT8 與 INT4 精度，為遊戲引入即時深度學習超取樣（DLSS），標誌著 Tensor Core 從資料中心走向消費計算。

第三代（2020 年，Ampere） GA100 引入三大突破：TF32（19+10 尾數 FP32 相容格式）、BF16、以及 2:4 結構化稀疏機制。TF32 讓多數工程程式碼無需修改即可自動利用 Tensor Core，稀疏模式允許理想條件下吞吐翻倍。該代產品（A100）成為生成式 AI 早期浪潮的基礎算力平台。

第四代（2022 年，Hopper） GH100 加入 FP8 支援（E4M3 / E5M2），並首次配合 Transformer Engine 實現逐層自動精度切換。非同步記憶體複製單元 TMA（Tensor Memory Accelerator）降低資料搬運開銷，使得大型模型訓練（如 GPT-3 175B）相比 A100 在同等 GPU 數量下提效約 2~3 倍（來源：NVIDIA H100 白皮書，2022）。

第五代（2024~2025 年，Blackwell） B200/B100 正式引入 FP4、FP6 精度，搭載第二代 Transformer Engine 和更大分塊尺寸。2024 年 GTC 公佈 B200 單顆晶片的 FP8 峰值高達約 4.5 PFLOPS（來源：NVIDIA 2024 GTC Keynote），進一步將萬億引數級模型的訓練和推論實用化。

路線特徵

各代 Tensor Core 均保持二進位制相容性和 wmma/mma 指令集一致性。路線演進的核心規律是：每代主攻 1~2 種更低精度（FP8→FP6→FP4），並在相應的軟體生態（cuDNN、CUTLASS、Transformer Engine）中提前埋入配套支援。硬體本身也在增強結構化稀疏和非同步搬運能力，以應對注意力機制和 MoE（Mixture of Experts）等新架構負載。

上游

Tensor Core 製造鏈上游的分工高度集中化。

晶圓代工與製程 自 Volta 起，Tensor Core 所在的 GPU 大晶片幾乎全部由台積電（TSMC）代工。V100 使用臺積 12nm FFN，A100 升級為 7nm N7，H100 採用 4nm N4，Blackwell B200 基於臺積 N4P 定製節點（來源：NVIDIA 各代架構白皮書及官方公開製程資訊揭露）。製程越先進，單晶片可容納的 Tensor Core 數量越多，頻率和能效同步改善。

先進封裝與記憶體整合 每一代 Tensor Core GPU 都依賴臺積 CoWoS（Chip-on-Wafer-on-Substrate）封裝將計算晶片與 HBM 堆疊整合在同一中介層。台積電 CoWoS 產能長期緊張，是高階 GPU 持續缺貨的物理源頭。HBM 記憶體堆疊由 SK 海力士、三星、美光三足鼎立供應，H100 採用 SK 海力士 HBM3，Blackwell B200 轉向 HBM3e（8 堆，總頻寬約 8 TB/s）。HBM 本身供貨週期和對先進封裝產能的佔用是 Tensor Core 交付量級的天花板。

EDA 與 IP Synopsys 和 Cadence 的設計工具鏈貫穿 Tensor Core 從 RTL 編碼、邏輯綜合到時序收斂的全流程。乘法器陣列的高密度版面配置和低功耗要求，依賴兩家 EDA 巨頭提供的先進綜合和 Place & Route 工具。

裝置與材料 光刻機（ASML EUV）、刻蝕機、檢測裝置等與常規先進製程 GPU 供應鏈一致，不再贅述。

下游

Tensor Core 的下游是整條 AI 價值鏈。

深度學習架構與底層庫 直接呼叫方為 NVIDIA 自有軟體棧：cuDNN（卷積/歸一化/啟用等運算元）、cuBLAS（GEMM）、CUTLASS（開源 GEMM 模板）、TensorRT（推論最佳化編譯器）。上層的 PyTorch、TensorFlow、JAX、ONNX Runtime 在架構層面橋接使用者程式碼。PyTorch 2.0 以上版本的 torch.compile 能自動檢測並對映適合 Tensor Core 的子圖（來源：Meta AI 官方部落格，2023 年 3 月）。

訓練負載 GPT-4 級大語言模型、Gemini、Claude、LLaMA、Mistral 等大型模型的預訓練微調基本全部在 H100 或 A100 叢集上完成。單次訓練週期可消耗數萬 GPU·月，雲端服務商和科技巨頭因此成為最大消費者。

推論負載 Tensor Core 同時支撐大規模推論。Meta 在 2024 年 Q2 財報電話會上明確提到，AI 推薦系統等推論負載正成為 GPU 算力消耗的重要部分（來源：Meta 2024 Q2 Earnings Call, 2024 年 7 月）。TensorRT-LLM 等最佳化引擎通過 INT8/FP8 量化將大型模型推論部署於 Tensor Core 上，實現高吞吐低成本。

垂直行業 擴散模型影像生成（Midjourney、Stable Diffusion）、影片生成（Sora 等 run on H100 叢集）、藥物發現（AlphaFold 結構預測及分子模擬）、科學計算（氣候模擬、聚變研究）均將 Tensor Core 作為核心加速器。

雲端服務商 AWS（P4d/P5 例項）、Azure（ND A100 v4/ND H100 v5）、GCP（A3 例項）、Oracle Cloud 等通過各代例項向中小企業出租 Tensor Core 算力。憑藉這種分層價值傳導，Tensor Core 成為雲端原生 AI 平台的標準計費單位。

受益公司

由於不得進行薦股或買進暗示，本節僅陳述因 Tensor Core 技術路線顯著獲益的相關方，以及可公開查詢的業務狀況。

• NVIDIA（設計方）：資料中心GPU營收在 2024 財年（截至 2024 年 1 月）年增率增長 217%，達到 475.3 億美元（來源：NVIDIA 2024 財年 10-K 年報，2024 年 2 月提交 SEC）。Hopper 架構 GPU 被公司管理層指為營收增長的主要驅動力。NVIDIA 市值在 2023~2024 年期間膨脹至萬億美元級別，反映了市場對其 Tensor Core 代際躍遷和 CUDA 生態護城河的極高預期。
• 台積電（製造與封裝）：作為多代 Tensor Core GPU 的獨家先進製程與 CoWoS 封裝提供商，台積電在 2023~2024 年間 CoWoS 產能幾度翻倍但仍供不應求（來源：台積電 2024 Q1 法說會，2024 年 4 月）。NVIDIA 成為台積電最大客戶之一。
• SK 海力士、三星、美光（HBM 供應）：HBM 作為 Tensor Core 資料供給的瓶頸資源顯著受益。SK 海力士在 2023 年 HBM3 市場佔據主導地位，並已宣佈 2024~2025 年產線幾近售罄（來源：SK 海力士 2024 年 Q2 財報，2024 年 7 月）。三星與美光同樣加速 HBM3e 量產來搶奪份額。
• AWS、Azure、GCP（雲端服務商）：依靠 Tensor Core 例項出租，成為生成式 AI 算力租賃的直接供給方，相關 AI 服務營收在過去兩年高速增長。微軟在 2024 財年 Q4 財報中提到 Azure AI 服務營收佔雲端營收比例持續攀高（來源：Microsoft FY2024 Q4 財務報告，2024 年 7 月）。
• Meta、特斯拉等自研自建叢集的科技巨頭：大規模購買 H100 並部署在自有資料中心，是 Tensor Core 硬體需求的重要來源。公開資料顯示，Meta 在 2024 年初宣佈計劃年內採購約 35 萬塊 H100 等效 GPU（來源：Meta 官方部落格，2024 年 1 月），特斯拉也在自建 Dojo 的同時繼續採購 NVIDIA GPU 用於自動駕駛訓練。

注意：上述公司受益程度與具體股價漲幅無必然對應關係，也不構成任何方向性建議。

市場規模

Tensor Core 作為 NVIDIA GPU 內部的一項功能單元，無法單獨測算市場規模。以下資料通過 NVIDIA 資料中心 GPU 營收、整體 AI 加速器市場及雲端服務算力租賃規模近似推算。

• NVIDIA 資料中心營收：2024 財年（截至 2024 年 1 月）為 475.3 億美元，年增率增長 217%（來源：NVIDIA 2024 財年年報）。2025 財年 Q1（截至 2024 年 4 月）單季營收達 225.6 億美元，分析師一致預期 2025 財年全年資料中心營收將大幅超 800 億美元（來源：Bloomberg 統計的市場共識，2024 年 6 月）。資料中心 GPU 幾乎全部搭載 Tensor Core，該營收大致反映 Tensor Core 硬體及相關軟體生態的直接銷售體量。
• 全球 AI 加速器市場：第三方機構 Omdia 2024 年 7 月預計 2024 年全球 AI 加速器（GPU + 定製 ASIC + FPGA）市場規模將達到約 1400 億美元，2025 年突破 2000 億美元（來源：Omdia, “AI Processor Market Tracker”, 2024 年 7 月）。NVIDIA 在市場中處於絕對領先位置，整體 GPU 路線持續主導該市場。
• 雲端租用市場 AI 例項：根據 650 Group 2024 年 5 月估計，僅 GPU 雲端例項市場 2024 年全球規模約為 400~500 億美元，並以超過 50% 的複合年增長率擴張（來源：650 Group, “Cloud Accelerator Market Report”, 2024 年 5 月）。雲端例項的絕大部分銷售來自 A100/H100/H200 等 Tensor Core GPU 系列。
• 供需缺口：由於先進封裝（CoWoS）與 HBM 產能尚無法完全滿足需求，實際出貨金額嚴格受制於供給側而非需求側。多位產業人士在 2024 年表示缺口至少持續到 2025 年（來源：DigiTimes 報道及 Anue 鉅亨網 2024 年 Q2 供應鏈訪談彙總），短期大幅緩解可能性較低。

需注意：所有市場預測資料均存在對 AI 應用普及速度的重大假設偏差，實際市場表現可能發生重大偏離。

玩家對比

以下對比聚焦已商用或即將商用的矩陣乘加加速器方案，依據公開可查的架構資訊與業界共識進行。

屬性	NVIDIA Tensor Core	AMD Matrix Core	Intel AMX + Gaudi	Google TPU v5	自研 ASIC (AWS Trainium2)
代表產品	H100 / B200	MI300X	Gaudi 3 / Xeon 6	TPU v5p	Trainium2
產品成熟度	超大規模量產（2022-2025）	早期量產（2024）	早期至中期	內部部署超大規模	2024 年底內部部署
標稱峰值（BF16/FP16）	H100: 990 TFLOPS, B200: ~4.5 PFLOPS	MI300X: ~1.3 PFLOPS	Gaudi 3: ~1.8 PFLOPS（公開資料估算，來源：Intel 2024 Vision Event 演講）	~459 TFLOPS/晶片（來源：Google Cloud TPU v5p 產品頁面，2024）	公開資料未見精確值
關鍵精度支援	FP64/FP32/TF32/BF16/FP16/FP8/FP4/INT8	FP64/FP32/BF16/FP16/INT8/FP8	BF16/FP16/FP8/INT8	BF16/INT8	公開資料待完善
軟體生態	CUDA/cuDNN/cuBLAS/CUTLASS/TensorRT；所有主流架構天然支援	ROCm/HIP/MIOpen；PyTorch/ TF 支援逐步完善	oneAPI/SYCL/OpenVINO；部分架構支援	JAX/TensorFlow XLA；封閉生態	AWS Neuron SDK；PyTorch/TensorFlow 適配
程式設計開放性	mma/wmma 指令可直接程式設計	HIP 內建 Matrix Core 介面	較低層 AMX intrinsics	僅編譯器排程	公開資料未見底層介面
能效比大致水平	極高	高	中等偏高	極高（專用架構）	極高（定製最佳化）
主要瓶頸	供給有限、成本高昂	軟體成熟度、使用者慣性	雲端部署尚少	無法外購、平台鎖定	僅供 AWS、需重新適配

NVIDIA Tensor Core 最大的差異化並非單單硬體指標，而是其深厚軟體壁壘：數十萬 CUDA 開發者、大量已調優 kernel、雲端原生支援矩陣。AMD Matrix Core 在 FP16 效能方面已具較高水準，但要將 Mi300X 在真實訓練負載中的利用率提升到接近 H100 的水準，仍需要大量架構與底層庫最佳化工作（業界普遍判斷，2024 年中公開資料看，AMD 在 LLM 訓練場景的穩定利用率仍低於 NVIDIA 10~25 個百分點）。Google TPU 和 AWS Trainium 等自研晶片雖然在絕對值層面具有高能效表現和可控供應，但其封閉生態將客戶鎖定在同一雲端服務商上，缺乏跨平台彈性。

風險

1. 地緣政治與出口管制風險：美國商務部 BIS 自 2022 年起連續釋出出口管制新規，限制高效能 AI GPU 銷往部分國家。NVIDIA 合規推出的 H20、L20 等調整版本 Tensor Core 數量大幅裁減（NVIDIA 官網產品規格，2024）。若管制加碼，可能影響 NVIDIA 約 20%~25% 的資料中心營收（分析師估計範圍，來源：Bernstein 研究報告，2024 年 4 月），延宕 Tensor Core 全球出貨節奏。
2. 客戶自研 ASIC 分流：Google TPU、AWS Trainium/Inferentia、微軟 Maia 以及 Meta 自研晶片均意圖降低對 NVIDIA 的依賴，部分推論甚至訓練負載可能從通用 Tensor Core GPU 流向定製晶片。Gartner 2024 年報告預測，到 2027 年大型雲端服務商內部 AI 負載中自定義加速器的佔比將超過 30%（來源：Gartner, “Predicts 2024: AI Semiconductors”, 2024 年 2 月）。
3. 軟體鎖定與遷移風險：CUDA 生態既是 NVIDIA 的護城河，也是整個行業的軟肋。一旦出現開源且表現優異的替代全棧方案（如 Triton + 開放 GPU 程式設計介面），並在一線架構達成同等或近似效能，那 Tensor Core 的邊際價值就會從軟體壁壘退化為純硬體競爭。
4. 先進封裝/記憶體產能瓶頸：CoWoS 和 HBM 的雙重產能限制使供需長期失衡。若 SK 海力士或三星出現工藝事故、地震、停電等突發事件，可能導致高階 GPU 交付大面積中斷，雲端服務商和企業採購計劃將受劇烈衝擊。
5. 能效與功耗牆：單顆 B200 功耗已攀升至約 1000W（來源：NVIDIA GTC 2024 主題演講）。大型訓練叢集的功耗與散熱讓資料中心 TCO 承壓，如果將來能效比提升放緩，與低功耗 ASIC 方案的對比會加劇。
6. 大型模型架構變革風險：目前 Transformer 注意力機制的矩陣乘加負載完美匹配 Tensor Core。但若未來出現替代架構（如 SSM、Mamba、RWKV 等，或基於脈動陣列完全不同的算態），這些新負載可能無法高效利用 Tensor Core，使既有生態被迫重構。

誤讀糾偏

1. “只要用 PyTorch 訓練，Tensor Core 就會自動加速”
   這是最常見的誤解。普通 CUDA kernel 預設只使用傳統 CUDA Core執行標量計算。Tensor Core 必須經由 cuDNN、cuBLAS 或顯式編寫的 wmma/mma 指令才能呼叫。使用 torch.compile 或 torch.cuda.amp 可促成相應呼叫路徑，但仍有大量自定義運算元不會自動受益。

2. “Tensor Core 在 FP32 下毫無用處”
   Ampere 引入的 TF32 模式專門打破此侷限。它將輸入截短為 19+10 格式（等價於 FP32 指數+10 位尾數），乘積以 FP32 累加，訓練指令碼幾乎無需改動即可自動利用 Tensor Core，收斂效果與標準 FP32 相差極小。

3. “Tensor Core 的 FP8/INT8 精度太低，無法用於訓練”
   當前主流大型模型訓練中，前向和反向傳播對數值精度的容忍度比想像中高很多。Hopper Transformer Engine 以逐層方式切換精度，需高精度的權重梯度部分仍以 FP16/BF16 計算，只在適合的矩陣乘加處使用 FP8，數十億乃至數千億引數模型均有成功案例證明精度和訓練穩定性可行。

4. “所有 Tensor Core 的規格都一樣”
   各代 Tensor Core 在分塊尺寸、支援精度、是否支援稀疏、是否配備 TMA 等方面有著本質差異。H100 的 FP8 能力與 A100 完全不相容，程式碼上 A100 的 TF32 GEMM 無法直接遷移到 H100 發揮 FP8 價效比。

5. “分塊尺寸越大效能越好”
   實際不然。暫存器壓力與分塊大小呈平方關係，過大的分塊會使每個 warp 消耗過多暫存器，導致 SM 能夠併發的 warp 數量（occupancy）下滑，延遲隱藏能力下降。最優分塊尺寸總是結合暫存器檔案容量、共享記憶體大小與 Tensor Core 自身形狀進行聯合最佳化。

最新事件

以下事件收錄截至 2025 年 5 月公開資料，時間均為事件起初發生或公佈節點。

• 2025 年 4 月：NVIDIA 在 GTC 2025 大會上預覽 Blackwell 後續架構“Rubin”，首次提到將為 Tensor Core 引入 FP4 精度標準模式，並進一步擴大分塊佇列深度（來源：NVIDIA GTC 2025 Keynote，2025 年 4 月）。Rubin 預計 2026 年進入量產。
• 2025 年 3 月：台積電法人說明會上確認，2025 年 CoWoS 產能將年增率再擴增約 80%，以滿足輝達高階 GPU 持續供不應求局面（來源：台積電 2024 Q4 法說會，2025 年 1 月）。但缺口仍然存在。
• 2024 年 Q4：AMD 宣佈 MI350 系列將於 2025 年下半年量產，主打 FP4/FP6 矩陣加速對標 Blackwell（來源：AMD 2024 Q4 財報電話會，2024 年 10 月），標誌著 Matrix Core 與 Tensor Core 在極低精度路線上的正面競爭。
• 2024 年 10 月：微軟在 Ignite 2024 上公佈自研 Maia 100 晶片在同公司工作負載中的能效大幅優於同等算力的 GPU（來源：Microsoft Ignite 2024 技術演講，2024 年 10 月），在推論側對 Tensor Core 構成成本壓力。
• 2024 年 6 月：NVIDIA Blackwell B200 開始向客戶送樣，CEO 黃仁勳表示已經“全面投產”（來源：NVIDIA 2025 財年 Q1 財報電話會，2024 年 5 月）。部分第一批雲端例項預計 Q4 2024 上線。

追蹤指標

要追蹤 Tensor Core 技術及產業動向，可規律性地觀察以下訊號：

週轉指標（月度/季度）

• NVIDIA 季度資料中心GPU營收（及地域拆分）→ 反映 Tensor Core 硬體出貨量。
• 台積電月度營收與先進封裝資本支出展望 → 側面印證高階 GPU 產量爬坡。
• 主要雲端服務商 AI 例項可用區擴張和排隊時長 → 反映供需鬆緊。
• HBM 現貨價格與大單合約價趨勢 → 可見記憶體對 GPU 成本比。

前瞻指標（半年到一年）

• GTC、Hot Chips、Computex 的主題演講 → 下一代 Tensor Core 精度、分塊、頻率、工藝。
• NVIDIA CUDA 文件中新增的新指令 / 新庫 API → 暗示後續硬體能力。
• AMD、Intel 在 AI 加速器領域的公開效能對比和架構支援程度 → 顯現競爭對 NVIDIA 定價和份額的影響。
• 美國商務部出口管制政策更新 → 直接左右華裔市場銷售。
• 科技巨頭自研晶片進展（Maia、Trainium、TPU 等）→ 影響訓練/推論負載從通用 GPU 遷移的程度。

資料獲取渠道

• NVIDIA 官方投資者關係網站與架構白皮書。
• AMD/Intel/台積電季度財報與法人說明會記錄。
• 市場調研機構報告（Omdia, Gartner, Mercury Research, 650 Group）。
• arXiv 論文和 CUTLASS 開源庫提交記錄（見技術細節進化速度）。

信源

本文所有資料和論斷均基於以下公開資料，供讀者進一步查證。文中明確標註“公開資料未見”或“年/月”來源的，均為確保可追溯性。

1. NVIDIA, “NVIDIA Tesla V100 GPU Architecture”, 白皮書, 2017 年 8 月。
2. NVIDIA, “NVIDIA A100 Tensor Core GPU Architecture”, 白皮書, 2020 年 5 月。
3. NVIDIA, “NVIDIA H100 Tensor Core GPU Architecture”, 白皮書, 2022 年 9 月。
4. NVIDIA, “Blackwell Architecture Technical Brief”, GTC 2024, 2024 年 3 月。
5. NVIDIA, “CUDA C++ Programming Guide”, 各版本, https://docs.nvidia.com/cuda/.
6. CUTLASS 開源庫, GitHub, https://github.com/NVIDIA/cutlass.
7. NVIDIA 2024/2025 財年季度與年度財報, SEC EDGAR.
8. AMD, “MI300X Accelerator Architecture”, AMD 資料中心技術日, 2023 年 12 月。
9. Intel, “Gaudi 3 AI Accelerator Architecture”, Intel Vision 2024, 2024 年 4 月。
10. 台積電 2024-2025 季度法人說明會紀要, 官網。
11. Omdia, “AI Processor Market Tracker”, 2024 年 7 月。
12. 650 Group, “Cloud Accelerator Market Report”, 2024 年 5 月。
13. Gartner, “Predicts 2024: AI Semiconductors”, 2024 年 2 月。
14. Meta 2024 Q2 Earnings Call, 方舟投資轉錄, 2024 年 7 月。
15. Microsoft FY2024 Q4 Earnings, 微軟投資者關係, 2024 年 7 月。
16. NVIDIA, “Tensor Cores”, 官方技術頁面, https://www.nvidia.com/en-us/data-center/tensor-cores/.

本文不構成任何投資建議、買賣建議或對某類資產未來漲跌的預測。所有提及的公司與財報數字僅供事實陳述，讀者做出決策前應參考最新揭露和獨立分析。