流式多处理器

3秒看懂

流式多处理器（Streaming Multiprocessor，SM）是 NVIDIA GPU 架构中的基本计算单元。每个 GPU 芯片由数十乃至上百个 SM 构成，它们共享 L2 缓存与显存控制器，各自独立调度成千上万个线程，并内置了大量算术逻辑单元（CUDA 核心）、Tensor Core（张量核心）、加载/存储单元、寄存器文件及片上共享内存。SM 决定了 GPU 的并行吞吐上限，是 AI 训练与推理算力的物理载体。

3分钟产业解释

在现代 AI 基础设施中，无论是千亿参数大模型的分布式训练，还是数据中心的低延迟推理，其底层算力本质上都来自一个个 SM 内的大量计算单元。NVIDIA GPU 之所以成为 AI 时代的标准硬件，正是因为其 SM 架构通过独特的“线程束（warp）”调度机制，能够用一个指令控制 32 个线程同时执行，再叠加专用加速器（如 Tensor Core），大幅提升矩阵乘法的效率。一次矩阵运算请求，通过 CUDA 编程模型下发到大量 SM 上并行处理，SM 内部的调度器、寄存器堆和共享内存协同工作，将显存带宽压力降至最低。

因此，SM 的数量、内部单元配置和运行频率直接决定了 GPU 的每秒浮点运算次数（FLOPS）与张量算力。跟踪 SM 架构演进，对判断 AI 芯片的能效比、评估投资时机与折旧风险至关重要。

15分钟专家深入

每个 SM 内部拥有一套完整的指令调度与执行管道。典型组成（以通用架构描述，具体代际有差异）包括：

• 线程束调度器（Warp Scheduler）：一个 SM 内通常有多个调度器，每个调度器每时钟周期可发射一条指令到一个 32 线程的线程束。
• 执行单元：若干 CUDA 核心（支持 FP32/INT32 运算）、特殊功能单元（SFU，负责超越函数）、加载/存储（LD/ST）单元，以及后续加入的 Tensor Core（矩阵乘加器）和 RT Core（光线追踪核心）。
• 寄存器文件（Register File）：SM 上所有线程的私有寄存器，容量在 Fermi 架构中为 32K 个 32 位寄存器，Kepler 及之后主流架构中通常为 64K 个 32 位寄存器（Blackwell 代际暂未见公开的倍数变动确认），分配给活跃线程束。线程占用率（occupancy）受限于寄存器数量和共享内存大小。
• 共享内存 / L1 缓存：可编程的高速缓存，用于线程块内数据交换，空间与 L1 缓存统一设计，容量通常在 64 KB 至 256 KB 可配置。
• 指令缓存与常量缓存：用于暂存指令和广播常量。

线程以 32 个为一组 warp 执行，SM 通过多 warp 并发隐藏访存延迟。当某 warp 等待显存数据时，调度器立即切换到另一个就绪 warp，从而实现接近峰值算力的实际吞吐。在 AI 负载中，Tensor Core 占据主导。以典型的 MMA（矩阵乘加）指令为例，SM 在收到指令后，Tensor Core 单元读取三个矩阵（A、B、C）的数据，在一个时钟周期内执行外积操作并累加，输出碎片矩阵。整个 SM 的多个 Tensor Core 可以协同执行大规模矩阵分块计算，实现数倍于单纯 CUDA 核心的浮点吞吐。

技术原理（最深）

SM 微架构与并行线程执行模型

SM 的工作机制可以抽象为“多线程前端、单指令多数据通路、分层存储”的三段式：

 ┌──────────────────────[SM]──────────────────────┐
 │  I-Cache                                        │
 │  Warp Scheduler 0     Warp Scheduler 1 ...     │
 │   ┌─────┐                ┌─────┐               │
 │   │Dispatch Unit│        │Dispatch Unit│       │
 │   └──┬──┘               └──┬──┘              │
 │      │                     │                   │
 │  ┌───▼────────────┐   ┌───▼────────────┐       │
 │  │Register File   │   │Register File   │ ...   │
 │  │ (warp 0..N)    │   │(warp 0..N)     │       │
 │  └──────┬─────────┘   └──────┬─────────┘       │
 │         │                    │                 │
 │  ┌──────▼───┐          ┌────▼────┐             │
 │  │CUDA Cores│ ...      │Tensor Core│ ...       │
 │  │(FP32/INT)│          │(MMA)      │           │
 │  └────┬─────┘          └───┬───────┘           │
 │       │                    │                   │
 │  ┌────▼───────────────────▼───┐                │
 │  │  Shared Memory / L1 Cache │                │
 │  └───────────────────────────┘                │
 └───────────────────────────────────────────────┘
          │
   L2 Cache / Memory Controller

关键参数与流程（以下为通用定性描述，具体数字随架构变化，未针对某代确认）：

• 每个 SM 的 warp 调度器数量：通常为 4 个（多数架构），每个调度器每周期可发射 1 条指令。
• 每 warp 固定 32 线程，一个线程块（block）常包含多个 warp（如 256 线程 = 8 个 warp）。
• 每个时钟周期，调度器选择一个就绪 warp，将其下一条指令的操作数从寄存器堆读取，送入对应执行单元流水线。
• 对于 CUDA 核心执行标准算术：流水线深度约 8-12 级，结果写回寄存器。
• 对于 Tensor Core：调度器发射 HMMA（Half-precision Matrix Multiply and Accumulate）或 IMMA 指令，权重矩阵驻留在寄存器或共享内存中，Tensor Core 对 16×16×16 或 32×8×16 等固定尺寸子矩阵执行乘累加，输出精度通常是 FP16/FP32 或 INT32。
• SM 内共享内存可配置为较高的 L1 缓存比例（如充分利用 Shared Memory 做数据重用），以降低全局显存访问压力；常与 L2 缓存协同形成层级。

占用率制约公式（估算）：
最大活跃 warp 数 ≤ min( floor(寄存器容量/(每线程寄存器数×每 block 线程数)) × (每 block 线程数/32), floor(共享内存容量/(每 block 共享内存使用量)) × (每 block 线程数/32), 每 SM 最大 warp 限制 )
占用率直接决定 SM 能否有效隐藏延迟，是内核调优核心指标。

SIMT 与张量并行映射：Megatron-LM 风格的张量并行将模型层内参数切分到多个 GPU，每个 GPU 上的 SM 负责部分矩阵乘加，然后通过 NVLink 或 NVSwitch 进行 AllReduce 或 ReduceScatter 通信。MoE 模型的 token dispatch 则可能用到 All-to-All 集体通信，此时 SM 负责路由计算与专家激活。SM 内部的 Tensor Core 负责大部分 FLOP，CUDA 核心处理残差、标准化等非矩阵乘操作。

技术演进史

• G80 / Tesla 架构（2006）：首次提出“流式多处理器”概念，统一着色器设计，SM 内含 8 个流处理器（SP），支持 CUDA。
• Fermi（2010）：SM 大幅强化，引入可配置的 L1 缓存 / 共享内存，增加双 warp 调度器，支持并发 kernel 执行。
• Kepler（2012）：引入“SMX”设计，大幅增加 CUDA 核心数量，每个 SM 内包含 192 个单精度核心，采用四 warp 调度器，增加了 GPUDirect 等。
• Maxwell（2014）：改称“SMM”，将 CUDA 核心分解为更小的处理块，提升能效；每个 SMM 含 128 个 CUDA 核心，仍保留 4 个 warp 调度器（每个处理块 1 个），强化能效比。
• Pascal（2016）：SM 继续沿用 Maxwell 的高效设计，加入 HBMM2 支持，支持 NVLink，统一内存。SM 内 CUDA 核心数量约 64-128（因芯片等级而异），引入 FP16 计算能力。
• Volta（2017）：SM 迎来重大变化，首次集成第一代 Tensor Core，专门加速矩阵乘；SM 分为 4 个处理块，每块含 16 个 FP32 核心、16 个 INT32 核心。
• Turing（2018）：SM 加入 RT Core（光线追踪），Tensor Core 升级至第二代，支持 INT8、INT4 推理；SM 引入并发执行浮点和整数的独立数据通路。
• Ampere（2020）：第三代 Tensor Core，支持 TF32、BF16；SM 内 CUDA 核心设计更灵活，可在一个周期内执行 2 次 FP32 或一次 FP32 + 一次 INT32；共享内存和 L1 缓存容量翻倍（架构允许配置至 192 KB 或更高）。
• Hopper（2022）：第四代 Tensor Core，引入 Transformer Engine（可动态管理 FP8 精度）、DPX 指令。SM 内包含更多 FP32 核心和专用内存加速，总 SM 数量和算力大幅提升。
• Blackwell（2024）：进一步扩展 SM 规模，支持 FP4、第二代 Transformer Engine、增强的 NVLink，具体 SM 内部配置细节[未检索到公开白皮书确认数字，据 NVIDIA 发布资料定性为史上最强单 SM 算力]。

注：上述各代 SM 中 CUDA 核心、Tensor Core 等具体核心数量因芯片型号存在变化，以上仅描述代际特征趋势，不锁定某具体芯片的精确数字。

技术路线对比（量化表）

（因搜索受限，下表中数字均为基于公开架构文档的大致区间或定性描述，个别代际未验证的精确值标注为“估算/不公开”）

说明：AMD 的对等概念为计算单元（Compute Unit，CU），同样包含流处理器和矩阵核心，但在调度模型和专用单元上存在差异，此处不做详细量化对比。

上下游

• 上游：
  • 晶圆制造 / 先进封装：台积电（N7/N4/N3 等 FinFET 制程，未来转向 GAA/nanosheet 的 N2）、三星（个别低功耗型号），封装方案如 CoWoS-S/L/R 决定 SM 集群与 HBM 互连密度。
  • EDA 和 IP：Synopsys、Cadence，为 GPU 物理设计和验证提供工具。
• 下游：
  • GPU 板卡制造商：富士康、广达、英业达等服务器 ODM/OEM，将包含 SM 的 GPU 芯片集成至加速卡。
  • AI 框架与编译器：CUDA 工具链、PyTorch/TensorFlow 及时编译器，将模型算子映射为 SM 上的线程块与 warp 调度。
  • 云服务商：AWS、Azure、GCP 等采购 GPU 实例，提供训练与推理算力，最终服务于各个行业的 AI 应用。

关键指标

• 每 SM 最大理论吞吐量：定义为核心组合（CUDA + Tensor Core）在不同数据精度下的 FLOPS。例如，每 SM 每时钟周期可完成若干次浮点或整数运算，乘以 SM 主频即为单 SM 算力。（具体数字依赖架构，未作逐个确认）
• 占用率（Occupancy）：活跃 warp 数与 SM 最大支持 warp 数的比值，直接影响延迟隐藏能力。
• 共享内存带宽与时延：共享内存读写带宽通常接近寄存器，是实现 softmax、FlashAttention 等算子高效计算的关键。
• Tensor Core 吞吐效率：实际算力发挥程度，受制于内存带宽、数据布局和指令流水。通常以 TOPS（INT8）或 TFLOPS（FP16/BF16/FP8）衡量。
• SM 数量与时钟频率：由 GPU 规格决定，A100 拥有 108 SM，H100 拥有 132 SM 等（此为公开规格，但为写本文无检索查验，以实际产品白皮书为准）。频率一般为 1.0–2.0 GHz 区间。

供需与市场数据

由于未实时检索，无法提供最新出货量或价格数据。依据产业常识：先进制程的 AI 训练 GPU（含高端 SM 集群）长期供不应求，交付期可长达数月，二手市场价格高企。整体 AI 服务器 GPU 市场由 NVIDIA 占据主导（份额 > 80%），SM 的算力演进直接驱动市场规模，IDC 等机构预测 AI 芯片市场到 2027 年将达千亿美元量级（引用为粗略预测，未确认具体报告），其中绝大部分的需求源于 SM 的浮点/整数/张量算力供给。

代表公司与资本映射

• NVIDIA（纳斯达克：NVDA）：SM 概念的提出者与主导者，每一代 SM 架构升级都会影响数据中心 GPU 的性能、功耗和产品组合。其数据中心业务（A100/H100/B100 等）营收占比超过 50%，下游合作伙伴包括台积电（代工）、SK 海力士/美光（HBM 内存）、超微电脑/戴尔（服务器集成）。
• AMD（纳斯达克：AMD）：其 CDNA 系列 GPU 采用计算单元（CU）类似概念，并在 MI300X 等产品中引入矩阵核心，市场份额较低但正在扩张，资本关注其抢夺 NVIDIA 份额的潜力。
• 初创 AI 芯片公司：如 Groq、Graphcore、SambaNova 等，以非 SM 架构挑战传统 GPU，通常采用数据流或粗粒度可重构架构，在特定场景下提供更高效率，但生态薄弱，资本映射波动较大。

产业观察框架

• 架构代际变化：每次 SM 架构重大更新（如引入 Tensor Core、Transformer Engine）都会改变对应 GPU 产品的 AI 性能、能效和软件适配要求，进而影响云厂商和企业的换代节奏。
• 制造约束：SM 需要最先进的制程和封装（如 CoWoS），晶圆与先进封装产能瓶颈会影响供应节奏和产品交付周期。
• 生态锁定效应：CUDA 软件栈与 SM 硬件深度耦合，模型优化（如 Triton 内核）高度依赖 SM 微架构特征，迁移成本较高，影响不同 GPU 平台的采用门槛。
• 风险关注点：潜在的出口管制影响高端 SM 对特定市场的供应，美国相关政策变动可能造成需求和供应节奏扰动；同时，自研芯片（如 Google TPU、AWS Trainium）正在绕过 SM 生态，可能改变部分推理市场的竞争格局。

常见误读纠偏

1. “SM 数量 x FP32 CUDA 核心数 = GPU 性能”
   实际上，性能取决于利用率（occupancy）、内存带宽以及 Tensor Core 的参与度。许多 AI 加载中 Tensor Core 执行 90% 以上算力，CUDA 核心仅处理少量标量操作。单纯比较 FP32 CUDA 核心数量会严重低估现代 GPU 的 AI 张量加速能力。

2. “SM 是完全可编程的通用处理器，与 CPU 核心无异”
   SM 基于 SIMT 模型，以 32 线程 warp 为调度粒度，处理分支能力弱于 CPU 的乱序超标量核心。执行高度分歧的代码时性能会急剧下降，不适合细粒度、多样化的逻辑控制。其擅长的是大规模数据并行与矩阵运算，而非通用操作系统级任务。

学习路径

• 入门：《CUDA C Programming Guide》中“Hardware Implementation”章节，理解 SM、warp 与线程块映射。
• 架构深入：NVIDIA 官方白皮书系列（如“NVIDIA A100 Tensor Core GPU Architecture”），其中包含 SM 具体框图与各级存储容量。
• 优化实战：利用 Nsight Compute 分析内核的 SM 占用率、共享内存 bank conflict、Tensor Core 使用效率；参考 cutlass 开源库的 SM 级调度策略。
• 学术进阶：阅读 ISCA、MICRO 等顶会论文中关于 GPU 微架构和 Tensor Core 灵活的指令调度技术，以及针对 Transformer 的 SM 级加速优化。

一句话总结

SM 是 NVIDIA GPU 上并行计算引擎的核心副本单元，通过 warp 调度、多层次片上存储和专用加速器（Tensor Core）实现超高吞吐，是现代 AI 大模型训练与推理的底层算力基石。

延伸阅读与来源

• NVIDIA Corporation. “NVIDIA A100 Tensor Core GPU Architecture.” 2020. (公开白皮书)
• NVIDIA Corporation. “NVIDIA H100 Tensor Core GPU Architecture.” 2022. (公开白皮书)
• NVIDIA CUDA C++ Programming Guide, Chapter 2. Hardware Implementation.
• 行业分析：Mercury Research, GPU 市场份额季度报告（需订阅）
• 报告引用：[台积电季度法说会纪要]，[IDC 预测 AI 芯片市场 2027 年千亿美元]，(本文未检索最新数据，以定性分析为主)
• 技术博客：NVIDIA Developer Blog 中关于 SM 和 Tensor Core 优化系例。