矩阵核心

⚠️ 数据声明：本次检索全部返回 403 错误，本页技术规格依据厂商公开架构白皮书与行业共识性知识整理，具体产品代际参数标注为**[架构公开文档]或[行业通识]**，未有检索交叉验证的细节均采用定性表述，不编造具体数字。

3 秒看懂

一句话：矩阵核心是 GPU/NPU 内部专为矩阵乘加（MMA）运算设计的硬件加速单元，是 AI 训练和推理吞吐的决定性引擎——没有它，现代大模型基本跑不动。

关键词联想：Tensor Core → 混合精度 → 脉动阵列 → 矩阵乘加 → AI 算力天花板

3 分钟产业解释

为什么需要”专用矩阵单元”？

传统 GPU 的 CUDA Core（或流处理器）是标量/向量运算单元——每个核心一次做一次乘加（MAC）。但深度学习的核心计算（矩阵乘法）天然具有高并行、规整数据流的特点。

产业意义：

• 2016–2017 年，AI 训练规模从百万参数跳到亿级参数，纯靠堆 CUDA Core 的能效比和芯片面积已经不可持续
• 矩阵核心通过在硬件层面固化矩阵乘加的计算模式，用专用数据通路+累加器实现极高吞吐
• 这一设计直接催生了 GPT-3、LLaMA 等千亿参数模型的可行性

谁在做？

以上品牌名归属均为**[各厂商公开架构文档]**。

15 分钟专家深入

核心机制：一句话版

矩阵核心在一个或极少数时钟周期内完成一个固定维度的小矩阵乘加（通常是 D = A × B + C，其中 A/B/C/D 均为小矩阵/张量块）。

工作流示意

┌──────────────────────────────────────────────────┐
│                 单个 Tensor Core 周期              │
│                                                    │
│  矩阵 A (m×k)  ×  矩阵 B (k×n)  +  矩阵 C (m×n) │
│         ↓                ↓              ↓          │
│      [片上寄存器/共享内存加载]                      │
│         ↓                ↓              ↓          │
│      ┌─────────────────────────────────┐          │
│      │    脉动阵列 / 数据流计算核        │          │
│      │    (Systolic Array / Dataflow)   │          │
│      └─────────────┬───────────────────┘          │
│                    ↓                               │
│           输出矩阵 D (m×n)                         │
│           写回寄存器/共享内存                       │
└──────────────────────────────────────────────────┘

关键设计选择

1. 运算粒度（Tile Size）

矩阵核心每次运算处理的矩阵块维度（如 16×16、32×8 等）因架构代际和精度而异。更大粒度 → 更高吞吐，但灵活性下降、数据搬运成本上升。具体维度因厂商/代际而异，参见各架构白皮书，此处不编造具体数字。

2. 混合精度支持

现代矩阵核心普遍支持混合精度（Mixed Precision）：

• 输入精度：FP16、BF16、TF32、FP8、INT8 等（低精度，带宽友好）
• 累加精度：FP32（保精度，避免溢出）
• 这是深度学习”训练用 FP32 累加，输入用低精度”需求的硬件映射

3. 数据搬运是真正瓶颈

矩阵核心本身计算极快，但喂数据的速度往往跟不上。因此：

• 寄存器文件（Register File）必须足够大
• 共享内存/L1 缓存的带宽是关键
• 软件层面需要通过 tiling（分块）+ prefetch（预取）+ 双缓冲等技术隐藏访存延迟

NVIDIA 在 Hopper 架构中引入的 TMA（Tensor Memory Accelerator）就是为了解决这一问题的专用硬件**[NVIDIA Hopper 架构白皮书]**。

与通用 CUDA Core 的关系

矩阵核心不是独立运行的——它通常作为 SM（Streaming Multiprocessor）内的子单元存在。一个 SM 内可能包含：

• 若干 CUDA Core（FP32/INT32）
• 若干 Tensor Core / Matrix Core
• SFU、LD/ST 单元等

调度关系：CUDA Core 执行通用指令；Tensor Core 由专用 warp 指令触发（如 NVIDIA 的 mma.sync、wgmma 等）。

技术原理（最深）

脉动阵列 vs. 数据流

矩阵核心的底层计算结构主要有两大流派：

A. 脉动阵列（Systolic Array）

输入向量 A: [a0, a1, a2, a3] →→→
              ↓    ↓    ↓    ↓
           ┌────┬────┬────┬────┐
时间 t=0   │ PE │ PE │ PE │ PE │  ← 权重矩阵 B 驻留
           │ ×  │ ×  │ ×  │ × │
           └─┬──┴─┬──┴─┬──┴─┬──┘
             ↓    ↓    ↓    ↓
           ┌────┬────┬────┬────┐
时间 t=1   │ PE │ PE │ PE │ PE │
           │ +  │ +  │ +  │ + │  ← 部分和累加
           └────┴────┴────┴────┘
             ↓    ↓    ↓    ↓
         输出向量 C: [c0, c1, c2, c3]

• Google TPU 是经典脉动阵列设计**[Google TPU 论文/公开资料]**
• 特点：数据在 PE（处理单元）间流动，极低控制开销，但灵活性受限

B. 数据流（Dataflow）/ 层次化 Tiling

• NVIDIA Tensor Core 更偏向这种模式**[架构分析行业通识]**
• 数据被切分为小 tile，通过专用寄存器通路喂入矩阵计算单元
• 与片上缓存/共享内存的交互更灵活

精度-吞吐量权衡矩阵（定性）

⚠️ 以上倍率关系为定性趋势描述，具体数值因架构代际、SM 配置等差异很大，参见各架构白皮书。

编程接口（以 NVIDIA 为例）

层级 1：cuBLAS / cuDNN（库调用，用户无需直接操作 TC）
   ↓
层级 2：WMMA API（C++ 模板，warp 级矩阵操作）
   ↓
层级 3：MMA PTX 指令 / wgmma（Hopper，线程级直接调度 TC）
   ↓
层级 4：硬件（Tensor Core 物理单元）

• wgmma（Warpgroup MMA）是 Hopper 架构引入的新指令，允许更大规模的异步矩阵乘，配合 TMA 实现计算与访存重叠**[NVIDIA Hopper 架构白皮书]**。

技术演进史

时间轴（NVIDIA 视角，行业标杆）

2017  Volta (GV100)
      └─ 首代 Tensor Core 引入
         · FP16 输入, FP32 累加
         · 每 SM 有 Tensor Core 单元
         · 首次使混合精度训练成为实用方案

2018  Turing (TU102)
      └─ Tensor Core 第二代
         · 新增 INT8/INT4/INT1 支持（推理加速）
         · 光追+AI 双轮驱动

2020  Ampere (GA100)
      └─ Tensor Core 第三代
         · 新增 TF32 格式（自动精度提升）
         · 新增 BF16 支持
         · 结构化稀疏（2:4 稀疏）硬件加速
         · A100 成为数据中心训练主力

2022  Hopper (GH100)
      └─ Tensor Core 第四代
         · 新增 FP8 支持
         · wgmma 指令（更大粒度异步 MMA）
         · TMA（张量内存加速器）配合
         · H100 及后续 H200

2024  Blackwell (GB200/GB300 系列)
      └─ Tensor Core 进化
         · 第五代 Tensor Core [架构公开信息]
         · 进一步提升 FP4/FP8 吞吐
         · 与 NVLink 5.0、大容量 HBM 配合

以上时间线和代际关系来自 [NVIDIA 架构发布白皮书及公开技术活动]。

AMD 线简述

• CDNA 1（MI100）：引入 Matrix Core，支持 FP16/INT8
• CDNA 2（MI200 系列）：扩展 FP64 矩阵支持（面向 HPC+AI 混合）
• CDNA 3（MI300 系列）：进一步强化 AI 训练/推理能力

技术路线对比

具体性能数据因产品型号/配置/功耗墙差异极大，本表不列具体 TFLOPS 数字，避免误导。

上下游

上游：谁给矩阵核心”喂饭”

┌─────────────────────────────────────────────────┐
│                  矩阵核心 (Matrix Core)           │
│                      ↑ ↑ ↑                       │
│         ┌────────────┼─┼─┼────────────┐          │
│         │            │ │ │            │          │
│    ┌────┴────┐ ┌─────┴─┴─┴─────┐ ┌───┴───┐     │
│    │HBM/GDDR│ │ 片上SRAM缓存    │ │互连总线│     │
│    │(显存)  │ │ (L1/共享内存)   │ │NVLink │     │
│    └────┬────┘ └───────────────┘ └───┬───┘     │
│         │                            │          │
│   ┌─────┴──────┐           ┌────────┴────────┐ │
│   │SK海力士/三星│           │NVLink Switch /  │ │
│   │美光(HBM供应)│          │网络交换芯片      │ │
│   └────────────┘           └─────────────────┘ │
└─────────────────────────────────────────────────┘

下游：谁在用矩阵核心

• AI 训练：GPT、LLaMA、Gemini 等大模型预训练
• AI 推理：大模型在线服务、RAG、Agent
• 科学计算/HPC：分子动力学、天气模拟（FP64 矩阵核心愈发重要）
• 推荐系统：Embedding+Dense 层的矩阵运算
• 自动驾驶：感知模型推理（边缘端 NPU 也含矩阵单元）

关键指标

评估矩阵核心效能的核心参数：

MFU（Model FLOPS Utilization）是当前大模型训练的核心效率指标，业界报告中经常引用**[行业分析报告通用指标]**。

供需与市场数据

算力需求侧

• AI 训练算力需求近年呈指数增长（“scaling law” 驱动），模型参数量×数据量≈计算量持续攀升
• 推理侧随 AI 应用普及，需求曲线正在追赶训练侧
• 关键驱动：更大模型、更长上下文、多模态、Agent 工作流

供给侧格局

⚠️ 以上市场份额为行业估算口径，非精确审计数据。

供需张力

需求端:  AI 模型规模指数增长 → 需要更多、更强矩阵核心
              ↕ 张力
供给端:  先进制程产能 + HBM 产能 + 先进封装产能 = 共同约束
         （三者缺一不可，木桶效应）

代表公司与资本映射

算力层（做矩阵核心的）

存储层（喂数据给矩阵核心的）

封装/制造层

投资逻辑

核心逻辑链

AI 模型规模增长
    ↓
单位模型计算量 × 模型数量 = 总算力需求
    ↓
矩阵核心是算力的物理载体
    ↓
供给侧受到制程/封装/存储三重约束
    ↓
供需缺口 → 定价权 → 盈利确定性

三个层次的”掘金逻辑”

1. 卖铲子（最确定）：NVIDIA 等 GPU 厂商、SK 海力士（HBM）、台积电（封装/代工）
2. 用铲子（高弹性）：云计算厂商（Azure、AWS、阿里云等）—— 算力利用率和利润率
3. 造铲子的零件（细分机会）：EDA（Synopsys/Cadence）、IP（Arm）、设备（ASML）、材料

风险因素

• 供给瓶颈缓解：如果 HBM/CoWoS 产能大幅扩张，紧张程度下降
• 替代架构：ASIC（如 Google TPU、AWS Trainium）可能蚕食 GPU 份额
• 模型效率革命：MoE、稀疏化、量化等技术可能降低单位模型的硬件需求
• 地缘政治：出口管制影响中国市场供需格局

常见误读纠偏

❌ 误读 1：“Tensor Core 就是 GPU 的 CPU”

纠偏：Tensor Core 不是独立处理器，它是 SM 内部的一个专用子单元，需要通过特定的 warp 指令触发，无法独立执行程序。它更像是一个”矩阵乘法加速器模块”，不是通用计算核心。整个 CUDA Core + Tensor Core + 共享内存 + 寄存器文件的组合才构成一个完整的 SM。

❌ 误读 2：“峰值 TFLOPS 越高，AI 训练越快”

纠偏：峰值 TFLOPS 是理论上限，实际训练速度取决于MFU（Model FLOPS Utilization）——即实际有效吞吐占峰值的比例。MFU 受软件栈优化、通信效率（如 AllReduce）、内存带宽、批大小等多重因素影响。一个 500 TFLOPS 但 MFU 30% 的系统，实际表现可能不如 300 TFLOPS 但 MFU 60% 的系统。

❌ 误读 3：“FP8 训练就是用 FP8 跑所有计算”

纠偏：混合精度训练中，权重更新和损失计算仍需 FP32 或 BF16 累加，FP8 仅用于部分前向/反向计算的输入和输出。这是为了维持训练稳定性——低精度累加会导致严重的数值漂移。具体哪些层、哪些操作用低精度，需要精细的数值分析和工程调优。

❌ 误读 4：“矩阵核心只用于 AI”

纠偏：矩阵核心也广泛用于 HPC/科学计算场景（如 dense linear algebra、CFD、分子动力学）。AMD MI200 系列特别强调 FP64 矩阵核心性能，就是为了同时覆盖 AI 和传统 HPC 市场。

学习路径

入门（0→1）

1. 了解 GPU 基础架构：CUDA Core、SM、warp 概念
2. 阅读 NVIDIA 官方博客：“Tensor Cores: Versatility for HPC & AI”
3. 体验一个简单的混合精度训练（PyTorch AMP 教程）

进阶（1→2）

1. 精读 NVIDIA Ampere/Hopper 架构白皮书（官方 PDF）
2. 学习 WMMA API 或 CUTLASS 库，理解编程接口
3. 理解 MFU 的计算方式和影响因素（参考 Megatron-LM 论文）

专家（2→3）

1. 研读 CUTLASS 源码，理解底层 tiling/swizzle 策略
2. 对比 NVIDIA vs. AMD vs. TPU 的矩阵单元设计哲学
3. 关注 PTX ISA 中 mma/wgmma 指令细节
4. 跟踪 FP4、Microscaling (MX) 等新兴格式的硬件支持进展

一句话总结

矩阵核心是 AI 算力的物理引擎——它通过在硬件层面固化矩阵乘加运算，将深度学习的计算瓶颈从”能不能算”变成”能不能喂够数据”，是理解当前 AI 芯片竞争格局的关键入口。

延伸阅读与来源

权威架构文档

• NVIDIA Hopper Architecture In-Depth（NVIDIA 官方技术博客）[NVIDIA 架构白皮书]
• NVIDIA Ampere Architecture In-Depth（同上）
• AMD CDNA 3 Architecture（AMD 官方文档）
• Google TPU 论文：“In-Datacenter Performance Analysis of a Tensor Processing Unit” [ISCA 2017]

开源代码

• CUTLASS（NVIDIA 开源矩阵计算模板库）：github.com/NVIDIA/cutlass
• Triton（OpenAI 编译器，可自动生成 Tensor Core 代码）

行业分析

• AI 半导体市场追踪报告（各大投行/研究机构定期发布）
• TrendForce/Counterpoint 等半导体研究机构的 HBM/先进封装追踪

学术论文

• Micikevicius et al., “Mixed Precision Training” (ICLR 2018) — 混合精度训练的奠基论文
• Shoeybi et al., “Megatron-LM” — 大规模分布式训练中的矩阵核心利用率分析

免责声明：本页为技术概念学习材料，不构成投资建议。市场有风险，投资需谨慎。技术参数以各厂商最新官方文档为准。