CUDA 核心

3 秒看懂

CUDA Core 是 NVIDIA GPU 内部最基础的标量算术逻辑单元，专门执行单线程的整数与单精度浮点指令。成千上万个 CUDA Core 按“流多处理器（SM）”分组，以单指令多线程（SIMT）方式并行运转，是 GPU 通用计算算力的原子载体。在深度学习负载中，虽然稠密矩阵乘由 Tensor Core 兜底，但激活函数、归一化、优化器更新以及大量自定义算子仍落在 CUDA Core 上。

3 分钟产业解释

CUDA Core 与 NVIDIA 的 CUDA 编程模型深度绑定：开发者编写 CUDA C++ 时定义线程网格与线程块，每个线程最终被调度到某个 CUDA Core 上执行标量运算。

自 2017 年 Volta 架构引入 Tensor Core 后，深度学习中最吃算力的矩阵卷积开始向专用单元卸载。但 CUDA Core 仍是“万能胶”——确保非矩阵操作有足够并行的算力兜底。因此 GPU 产品宣传中的“CUDA 核心数”依然是衡量通用计算并行度的关键指标。

产业层面，云厂商按小时贩售的 GPU 实例本质上是在租用 CUDA Core（以及 Tensor Core、显存带宽）。以 AWS p4d 实例（搭载 A100）为例，其标称 FP32 峰值 19.5 TFLOPS，主要由 CUDA Core 贡献。AI 框架如 PyTorch 运行模型时，底层库 cuBLAS、cuDNN 会智能地将计算分配到 Tensor Core 与 CUDA Core。可以说，没有海量 CUDA Core 堆叠，就不会有 GPU 通用编程生态，NVIDIA 的护城河也正建立于此。（来源：NVIDIA A100 规格表，2020 年发布）

技术原理

SIMT 执行模型

CUDA Core 本身没有独立的程序计数器；指令由 SM 内的调度单元统一发射。一个 warp（32 个线程）的所有线程执行同一指令，但各自处理不同数据。若出现分支发散（if-else），不同路径被串行执行，部分 CUDA Core 闲置，凸显了编程时对齐访存和避免发散的重要性。

微架构组成

每个 CUDA Core 包含一个整数单元（INT32）和一个浮点单元（FP32），二者在早期架构（Fermi 至 Pascal）中共用发射端口，不能同时执行。自 Turing 架构（2018 年）起，SM 重新设计，INT32 与 FP32 的 CUDA Core 在物理上部分分离，可并发执行，显著提升数据搬运密集的算子（如逐元素运算）效率。（来源：NVIDIA Turing 架构白皮书，2018）

CUDA Core 支持的操作包括：单精度融合乘加（FMA，每时钟可计 2 FLOPs）、整数加减、移位、逻辑运算等。部分架构上的 CUDA Core 也能处理半精度（FP16），但吞吐通常低于专用 Tensor Core。

FMA 流水线

一条 FMA 指令在 CUDA Core 内的执行流程为：取指 → 译码 → 读寄存器 → 浮点乘法器 → 累加器 → 写回寄存器。流水线化设计使每个 CUDA Core 每时钟周期可完成一条 FMA 指令，折算为 2 FLOPs（一次乘法 + 一次加法均计为操作）。以典型加速时钟频率 1.5–2.0 GHz 估算（具体代际差异显著），单 CUDA Core 的标量 FP32 吞吐可达 3–4 GFLOPS。

调度与执行

GPU 以 warp（32 线程）为基本调度单位。一个 SM 内含多个 warp scheduler，每个时钟从就绪 warp 中挑选一条指令发射到一组 CUDA Core 上。由于一个 SM 内 CUDA Core 数量远多于单个 warp 所需的 32 个，SM 可通过切换 warp 隐藏访存延迟。以深度学习 kernel 为例：一个涵盖 256 个线程的线程块形成 8 个 warp，被分配到 SM 上执行。当 Tensor Core 忙于矩阵乘时，CUDA Core 仍可并行执行偏置加法、激活函数等顺序依赖较弱的标量工作，实现指令级并行。

精度支持演化

• FP32：CUDA Core 的看家精度，所有架构一致支持。
• FP16：Pascal（2016）开始支持，打包 FP16 操作吞吐可达 FP32 的两倍。Volta 之后 FP16 矩阵运算全面转向 Tensor Core。
• INT32：一直支持。Turing 后可从专用 INT32 CUDA Core 发射，实现与 FP32 并发。
• TF32/BF16/FP8：这些降精度计算几乎全部由 Tensor Core 处理，CUDA Core 不直接参与。（基于 NVIDIA Volta/Turing/Ampere/Hopper 白皮书定性归纳）

与深度学习的联结

虽然训练/推理的主力 FLOPS 常由 Tensor Core 贡献（混合精度训练时），但以下几类操作几乎全靠 CUDA Core：

• 优化器步骤（SGD/Adam 中的权重更新、动量计算），多为 FP32 逐元素运算。
• Batch/Layer/Group Normalization 的统计量与缩放。
• 特殊激活函数（GELU、SiLU 等）的复杂数学函数。
• 数据预处理、自定义损失函数等未被库优化的代码路径。

因此，即使 Tensor Core 指标华丽，若 CUDA Core 数量不足或指令吞吐瓶颈，也会限制最终有效算力。

硬件逻辑示意（非比例，仅结构关系）

+----------------- SM ----------------
|   Warp Scheduler 0    Warp Scheduler 1
|       |   |    \         |   |    \
|   Dispatch Unit     Dispatch Unit
|       |                   |
|  +-----+----+     +-----+----+
|  | CUDA Core | ...| CUDA Core |
|  | (FP32/INT) |   | (FP32/INT) |
|  +-----------+     +-----------+
|       ...    共享内存 / L1 缓存 ...
|       加载/存储单元 <-> 显存接口
+------------------------------------

每个 SM 内含调度器、CUDA Core 群、特殊功能单元（SFU）、Tensor Core（Volta+）、寄存器文件等组成的异构集群。

关键参数

评估 CUDA Core 实际算力的核心指标包括：

• CUDA Core 数量：决定理想 FP32/INT32 吞吐的并行度基数。同架构内通常越多越强，但跨代不可直接比较。例如，A100 单 GPU 含 6912 个 CUDA Core，而 H100 为 14592 个（基于 SM 数量与每 SM 配置计算）。
• 加速时钟频率：影响每核心吞吐，受散热与功耗墙制约。A100 的 Boost Clock 约 1.41 GHz，H100 约 1.98 GHz（来源：NVIDIA 官方规格表，分别发布于 2020、2022）。
• 每 SM 的 CUDA Core 密度与调度器比例：影响延迟隐藏效率。Ampere 架构每 SM 含 64 个 FP32 CUDA Core（其中一半可兼作 INT32），配 4 个 warp scheduler（来源：NVIDIA A100 白皮书，2020）。
• 并发数据类型路径：如 INT32 与 FP32 是否可同时发射，影响混合精度计算和指令级并行度。
• FP32 峰值 GFLOPS ≈ CUDA Core 数 × 加速时钟(GHz) × 2（FMA 双重计数）。以 A100 为例：6912 × 1.41 GHz × 2 ≈ 19.5 TFLOPS。但有效算力受 Tensor Core 卸载率、访存带宽等因素影响巨大。

技术路线

架构代际演进

• Tesla (G80, 2006)：统一着色器架构，128 个 stream processor 可被编程为通用计算核心，奠定 CUDA Core 前身。
• Fermi (2010)：首个完整意义上的“CUDA Core”概念，每个 SM 含 32 个 CUDA Core，支持完整 C++ 编程，引入 L1/L2 缓存层级。
• Kepler (2012)：SMX 设计大幅增加每 SM 的 CUDA Core 数（达 192），引入 warp shuffle 指令。
• Maxwell (2014)：能效优化，SM 结构简化为四个 warp scheduler 配 128 CUDA Core，同样核心数下功耗大降。
• Pascal (2016)：增加 FP16 打包计算支持，CUDA Core 可执行打包 FP16 提供 2× FP32 吞吐，搭配 HBM2 与 NVLink。
• Volta (2017)：分水岭。引入独立 Tensor Core，CUDA Core 专注标量通用计算，SM 内 CUDA Core 数首次下降（为 Tensor Core 让渡面积）。
• Turing (2018)：SM 大改，实现 INT32 与 FP32 CUDA Core 并发发射，新增 RT Core，通用计算能力增强。
• Ampere (2020)：每 SM 的 FP32 CUDA Core 翻倍至 64，数据路径增强，支持稀疏化，TF32 由 Tensor Core 处理。
• Hopper (2022)：SM 支持 DPX 指令，CUDA Core 配合更复杂的 warp group 调度，与 Transformer Engine 协同。
• Blackwell (2024 发布)：公开资料未见详细 SM 内部 CUDA Core 微架构数据，已知支持 FP4/FP6 精度（由 Tensor Core 处理），CUDA Core 的具体改进待官方白皮书进一步披露。

（以上代际特征来自 NVIDIA 各代 GPU 架构白皮书，具体数值因 SKU 而异。）

技术路线对比（定性为主）

*同代内不同芯片配置不同，数字为典型配置，不涵盖全部 SKU。

上游

CUDA Core 的上游供应链核心环节包括：

• 架构 IP 与设计：NVIDIA 自研 GPU 架构 IP（指令集、SM 设计、CUDA Core 微架构实现），不对外授权。研发投入持续增长，据 NVIDIA FY2024 年报（截至 2024 年 1 月），全年研发费用约 86.8 亿美元（non-GAAP），其中 GPU 架构研发占重要比重。
• 半导体代工：先进制程由台积电（TSMC）主导。V100 使用 12nm FFN，A100 使用 7nm N7，H100 使用 4nm N4，B200 采用 4NP 工艺（均来自 NVIDIA 官方发布信息）。三星在消费级 GPU（如 RTX 30 系）短暂参与 8nm 制程代工。
• 先进封装：数据中心 GPU 依赖台积电 CoWoS（Chip-on-Wafer-on-Substrate）封装连接 GPU 芯片与 HBM 显存。CoWoS 产能曾阶段性紧张，2023 年前后成为 GPU 供应的主要瓶颈之一（来源：台积电产能相关公开报道与行业分析，TrendForce 2023 年报告）。
• HBM 显存：SK 海力士、三星为主要供应商。H100/H200 搭载 HBM3/HBM3e，显存带宽直接影响 CUDA Core 的数据供给效率。
• EDA 工具：Cadence、Synopsys 提供芯片设计工具，支持大规模 GPU 设计与验证。

下游

CUDA Core 所在 GPU 的下游应用链条：

• AI 服务器厂商：Supermicro、广达、工业富联、Dell、HPE 等将 GPU 集成到服务器中，交付给数据中心客户。据 TrendForce 2024 年估算，2024 年全球 AI 服务器出货中 NVIDIA GPU 占比超 80%。
• 云服务商：AWS、Microsoft Azure、Google Cloud、Oracle Cloud 采购 NVIDIA GPU 构建实例，以小时出租。以 AWS p5 实例（H100）为例，8 卡实例标价约 98 USD/小时（按需，美东区，2024 年 Q3 公开定价）。
• GPU 云新势力：CoreWeave、Lambda Labs、Paperspace 等专业 GPU 云采购 NVIDIA 产品，以更具竞争力的定价出租算时。
• 深度学习框架与底层库：PyTorch、TensorFlow 通过 cuBLAS、cuDNN、CUTLASS 将计算调用映射到 CUDA Core 与 Tensor Core。CUDA Core 的标量算力是整条软件栈的最低层抽象。
• 最终用户：AI 实验室（OpenAI、Anthropic 等）、互联网企业、科研机构、工业仿真用户等。训练千亿参数模型需要数万 CUDA Core 并行，推理也需要大量 CUDA Core 处理非矩阵密集部分。

受益公司

• NVIDIA (NVDA)：CUDA Core 的唯一设计者与主导者，GPU 通用计算生态的硬锚，护城河极深。数据中心业务在 FY2024（截至 2024 年 1 月）营收约 475 亿美元，是 FY2022 的约 4.5 倍（来源：NVIDIA 年报）。
• 台积电 (TSM)：独家代工 NVIDIA 数据中心 GPU 先进制程与 CoWoS 封装，是产能瓶颈的关键环节。2023 年台积电先进封装营收占比持续提升（来源：台积电 2023 年报）。
• SK 海力士：HBM3/HBM3e 主力供应商，据公开报道，2024 年 HBM 产能基本售罄，NVIDIA 为其最大客户。
• Supermicro (SMCI)：AI 服务器 ODM/OEM 代表，受益于 GPU 集群建设潮。季度营收从 FY2023 Q1 约 18 亿美元跃升至 FY2024 Q4 约 53 亿美元（来源：Supermicro 财报）。
• CoreWeave：GPU 云新势力的代表，大规模采购 NVIDIA H100，2024 年估值的显著提升反映市场对 CUDA Core 算力租赁的看好（公开融资信息）。
• AMD (AMD)：竞争架构 RDNA/CDNA 拥有“流处理器”，功能类似 CUDA Core，但编程生态（ROCm）用户基数与兼容性远逊于 CUDA。据 Mercury Research 数据，2023 年四季度 AMD 在独立 GPU 市场份额约 19%，但数据中心 AI 推理份额低于此（公开估算，精确 AI 份额未见）。

市场规模

• GPU 整体市场：据 Jon Peddie Research 2024 年 Q1 数据，2024 年 Q1 全球 GPU 出货量（含集成/独立/数据中心）约 7000 万颗，其中独立 GPU 约 870 万颗。NVIDIA 独立 GPU 市占率约 88%（来源：JPR 报告）。
• 数据中心 GPU 市场：据估算，2023 年全球数据中心 GPU 市场规模约 400–500 亿美元，NVIDIA 占比超 90%（来源：Mercury Research 与供应链估算，精确官方数据未见）。2024 年受 H100/B200 需求推动，市场总规模有望继续扩大，公开资料未见统一确认数字。
• CUDA Core 相关”算力”市场：难以独立拆解，但可观察指标如下：
  • 云 GPU 实例市场规模：据 Omdia 等分析机构估算，2023 年全球 GPU 云实例收入约 200–250 亿美元。
  • NVIDIA 数据中心营收（FY2024）：约 475 亿美元，可作为算力硬件投入的基础参考。
  • 每代卡的 FP32 总算力 × 出货量可构成可量化的”通用算力池”，公开资料未见此类核算。

玩家对比

（以上对比基于 NVIDIA CUDA 文档、AMD ROCm 文档、Intel oneAPI 文档公开可查的定性信息。市占率为行业估算，精确官方数据未见。）

风险

• 制程与封装依赖：NVIDIA 数据中心 GPU 严重依赖台积电先进制程与 CoWoS 封装。若地缘政治风险升级或产能持续紧张，将影响 GPU 供应与 CUDA Core 增量。
• 架构路径分歧：若未来 AI 负载全面转向低精度矩阵乘法，CUDA Core 的 FP32 通用算力可能边际价值下降。NVIDIA 已通过 Hopper 的 Transformer Engine 等方向强化 Tensor Core 角色，CUDA Core 的相对面积配比未来可能继续收缩（趋势来源：NVIDIA 架构白皮书纵向对比）。
• 竞争生态侵蚀：AMD 的 ROCm 生态与微软/OpenAI 的 Triton 编译栈试图降低 CUDA 锁定效应。若大模型训练推理栈成功抽象化底层硬件，CUDA Core 的生态壁垒可能松动。
• 功耗限制：高 CUDA Core 数量 × 高频率带来高功耗。H100 的 TDP 已达 700W（SXM），下一代更高，数据中心散热与电力供给构成物理上限。
• 下游集中风险：云厂商（AWS、Azure、GCP）与少数 AI 实验室占据 GPU 采购大头，若其资本开支收缩，CUDA Core 间接需求承压。

误读纠偏

1. “CUDA Core 数量直接决定 GPU 性能” 只在同架构、同频率、同带宽约束下比较时近似成立。跨架构时，新一代 CUDA Core 数量可能少于旧代（如 V100 的 5120 vs P100 的 3584，但 V100 得益于 Tensor Core 卸载和更高时钟而整体更强）。游戏卡与数据中心卡同一架构下满配与阉割版差异巨大。

2. “深度学习只靠 Tensor Core，CUDA Core 没什么用” Tensor Core 只加速特定混合精度矩阵乘/累加，batch norm、激活函数、梯度缩放、优化器步骤、数据 pipeline 仍依赖 CUDA Core。在许多模型（尤其是动态网络、推荐系统、多模态）上，CUDA Core 算力可成为瓶颈。据公开的 NVIDIA 优化指南，训练中约 10–30% 的 FLOPs 落在通用 CUDA Core 上，因模型而异。

3. “每个 CUDA Core 就是一个 GPU 核心” 一个”GPU 核心”通常指整个 SM 或计算单元。CUDA Core 是最小标量执行单元，无自主调度能力。更恰当的类比是 CPU 中的 ALU（算术逻辑单元），而非完整 CPU 核心。

4. “AMD 的流处理器和 CUDA Core 是一回事” 功能类似，但编程模型和生态差距巨大。CUDA 代码无法直接运行在 AMD 硬件上，HIP 转译存在局限，大量商业闭源代码高度依赖 CUDA Core 执行模型。

最新事件

• Blackwell B200 发布（2024 年 3 月 GTC）：NVIDIA 发布 Blackwell 架构，B200 搭载 2080 亿晶体管，宣称大幅提升 AI 算力。具体 CUDA Core 数量与每 SM 配置官方未在发布日充分披露（据 NVIDIA GTC 2024 主题演讲，公开参数表暂缺 SM 细节）。
• H200 发布与量产（2023 年末–2024 年）：基于 Hopper 架构，CUDA Core 配置与 H100 一致，主要升级为 HBM3e 显存（141 GB，带宽 4.8 TB/s），间接提升 CUDA Core 的访存效率。2024 年 Q2 起云厂商逐步上线 H200 实例。（来源：NVIDIA 官方产品公告）
• 台积电 CoWoS 扩产：台积电 2024 年计划 CoWoS 产能在 2023 年基础上翻倍，2025 年继续扩产，以缓解 NVIDIA GPU 供应瓶颈。产能具体数字属台积电商业机密，公开资料无确切披露。（来源：台积电 2024 年 Q1 法说会管理层评论）
• 美国出口管制升级（2023 年 10 月）：BIS 更新出口管制规则，限制高端 GPU（含 H100/A100）对部分国家的出口。NVIDIA 推出符合管制的 H20 版本（CUDA Core 数量削减），影响中国市场的 CUDA Core 通用算力供给。（来源：美国 BIS 公开文件、NVIDIA 产品页面）

跟踪指标

跟踪 CUDA Core 生态与算力变化的关键可量化维度：

1. NVIDIA 每代数据中心 GPU CUDA Core 数量与频率：查阅 NVIDIA 官方规格表，计算 FP32 峰值变化趋势。
2. NVIDIA 数据中心季度营收：反映市场对 GPU 整体算力（含 CUDA Core）的采购意愿。来自 NVIDIA 财报（每季），口径为 Data Center revenue。
3. 台积电 CoWoS 产能利用率与扩产节奏：影响 GPU 供给的先行指标。可跟踪台积电法说会管理层评论及行业调研报告（如 TrendForce）。
4. 云厂商 GPU 实例上线节奏与价格：AWS/Azure/GCP 的新实例类型推出速度和 price/hr 变化，间接反映 GPU 供需与算力定价。
5. PyTorch CUDA 相关下载量与 CUDA 版本分布：可通过 PyTorch 官方统计或 Conda 下载数据分析 CUDA 生态活跃度。
6. AMD ROCm 生态进展：HIP 兼容度、主流框架原生支持的更新频次，衡量替代威胁的程度。
7. 新架构白皮书 SM 微架构变化：每 SM 内 CUDA Core 占比、新增指令支持，直接影响通用计算效率。

信源

本页内容基于以下公开来源，具体数据点已在文中标注出处：

1. 《NVIDIA CUDA C++ Programming Guide》（最新版，NVIDIA 官网文档）
2. NVIDIA 各代 GPU 架构白皮书：Fermi / Kepler / Maxwell / Pascal / Volta / Turing / Ampere / Hopper（NVIDIA 开发者网站）
3. NVIDIA 数据中心 GPU 官方规格表（V100/A100/H100，nvidia.com）
4. NVIDIA 定期财报（FY2022–FY2024）与 GTC 主题演讲资料
5. 台积电法说会管理层评论与年报（2023–2024）
6. Jon Peddie Research（GPU 市场季度统计）
7. Mercury Research（独立 GPU 市占率）
8. TrendForce（AI 服务器与 CoWoS 产能报告）
9. 学术微基准测试文献：《Dissecting the NVIDIA Volta GPU Architecture via Microbenchmarking》（arXiv）
10. AMD ROCm 官方文档、Intel oneAPI 官方文档

所有涉及精确数字的信息均已标注来源与年份口径。部分行业估算数据（如数据中心市占率）因未获官方确认，已注明“估算”或“公开资料未见”。本页不代表任何形式的投资建议，仅供认知参考。