计算单元
1. 3 秒看懂
计算单元（CU，Compute Unit）是 GPU 与 AI 加速器中执行并行计算的最小完整硬件块。它集成了数十至数百个算术逻辑单元（ALU）、寄存器文件、调度器和局部数据共享空间，能够以单指令多数据（SIMD）方式，让一条指令同时作用于数百个数据。在深度学习中，芯片内 CU 的数量、工作频率和实际利用率，三者共同决定了一颗芯片的训练与推理吞吐能力。它如同一个高度组织化的“流水线车间”：车间数量越多、内部工人（ALU）越忙碌、物料（数据）供给越及时，完成矩阵乘法这类核心任务的效率就越高。
2. 3 分钟产业解释
若将 GPU 或 AI 加速器视为一座巨型工厂，计算单元就是其中一条完整的、可独立运作的装配线。每条线配备了自己的工位（ALU）、物料暂存区（寄存器和局部数据共享 LDS）以及调度员（波前调度器），专门用于并行处理海量形状规整的“工件”（数据）。
现代人工智能的两大基石——卷积神经网络与 Transformer 自注意力机制——本质上是规模极其庞大的矩阵乘法运算。这些运算可被拆解为数万乃至数百万个简单的乘加任务，并精确映射到成百上千个 CU 上同步执行。一个或多个 CU 会组合成更高层级的模块，如着色器阵列（SA）或工作组处理器（WGP）；再由数十个此类模块拼接出完整的 AI 芯片。
产业视角所关心的算力，其物理根基正在于此。它的基本公式为：理论峰值算力 ≈ CU 总数 × 每 CU 每时钟周期可完成的融合乘加（FMA）操作数 × 运行频率。然而，将这理论算力兑现为实际应用性能，则取决于数据供给体系（多级缓存与显存带宽）能否高效匹配 CU 的消耗速度。因此，剖析 CU 的微架构设计、数据供给通路及上层编程模型，是评估任何 AI 硬件方案长期竞争力的核心线索。
3. 技术原理
3.1 微观结构：一个 CU 的内部解剖
一个典型的 CU 内部，由以下关键模块构成一个完整的计算流水线：
- 指令调度器：以“波前”或“线程束”为最小单位发射指令。每个波前通常由 32 或 64 个工作项（线程）组成，共享同一指令流。
- 计算执行单元：
- 标量单元：专门处理整数地址计算、流程控制等非向量化任务。
- 向量 ALU：计算主力，可在单周期内对多个数据执行浮点或整数乘加运算。
- 特殊功能单元（SFU）：高效处理超越函数（如
sine，exp）、插值等复杂运算，速度远超普通 ALU 的软件模拟。
- 存储层次：
- 寄存器文件：为每个活跃线程提供私有数据暂存，其容量以 KB 计，直接影响可驻留波前数量（占用率），是延迟隐藏能力的关键。
- 局部数据共享（LDS）或共享内存：CU 内所有工作项均可高速访问的暂存空间，常需开发者显式编程控制，用于实现高效数据交换与分块（Tiling）。
3.2 指令执行流水线示意
一条指令在 CU 内的执行通道可用以下简化 ASCII 图表示：
取指 -> 解码 -> 标量单元（地址/控制） -> 向量单元（数据并行计算） -> 写回寄存器
\-> 存储器访问通道（全局/局部内存 或 LDS）---------/
注：标量与向量指令、存储器操作可能分别位于不同的执行流水线上，可并行发射，以最大化吞吐。
3.3 从线程到波前的调度抽象
软件层面的一个工作项（线程）在 CU 中对应一个硬件执行槽。波前（或线程束）是硬件调度与执行的最小颗粒度。当一个波前因访问高延迟的全局内存而停滞时，调度器会立刻切换至片内其他已就绪的波前继续执行，以此掩盖数百个时钟周期的访存延迟。这种“零开销”线程切换是 CU 实现高吞吐率的核心机制之一，其有效性完全取决于寄存器与共享内存资源能否支持足够多的波前同时驻留（即高占用率）。
3.4 深度学习算子的物理映射
以矩阵乘法 C = A × B 为例，计算任务被划分为大量输出子块。每个工作项负责计算矩阵 C 中的一小块。
- 多级分块：将矩阵
A、B的特定子块从全局内存搬运至 LDS（一级分块），再从 LDS 搬运至寄存器（二级分块），最大化数据复用，最小化对全局内存的访问。 - 向量化访存：利用宽度为 128 位或 256 位的加载指令，一次性从全局或局部内存读取多个连续数据元素，提升取数效率。
- 混合精度计算：在同一 ALU 上使用 FP16、BF16、TF32 或 INT8 格式进行运算。由于数据位宽减半，理论吞吐可达 FP32 的 2 倍乃至 4 倍，前提是硬件具备原生加速支持。
4. 关键参数
解析一个 CU 的性能潜力，需关注以下关键指标，其典型区间基于业界已公开架构的定性范围：
- 向量 ALU 宽度：单个 SIMD 单元每周期可处理的元素数量。每个 CU 内含多组 SIMD 单元，常见组合为每 CU 提供 64 到 128 条 FP32 流水线。
- 每时钟周期乘加次数：理论峰值计算能力的基石，等于
SIMD 单元数 × 单单元宽度 × 2（将一次融合乘加计为两次操作）。 - 寄存器文件容量：每 CU 通常配备数十至数百 KB，直接限制波前占用率和延迟隐藏能力。
- LDS/共享内存容量：每 CU 达数十至上百 KB，其带宽远超全局缓存，是高效数据复用的关键。
- 波前调度策略：主流方案为细粒度交替多波前调度，硬件同时维护数十个波前的执行状态。
- 数据类型加速：对不同精度的支持决定了实际吞吐上限。
| 数据精度 | 操作特性与适用场景（定性） |
|---|---|
| FP32 | 单精度浮点基线，广泛用于对精度要求高的科学计算与训练任务。 |
| FP16 / BF16 | 理论吞吐率可达 FP32 的两倍。BF16 因其与 FP32 相同的指数范围，在深度学习训练中稳定性更优。 |
| TF32 | 一种内部存储格式。使用与 FP16 相似的 10 位尾数精度进行乘法，但使用 FP32 的 8 位指数范围进行累加，在 NVIDIA Ampere 及之后架构上实现了接近 FP16 的速度与 FP32 的收敛性。 |
| INT8 | 理论吞吐率可达 FP32 的四倍，是当前 AI 推理部署的主流精度。 |
| FP8 | 最新前沿格式，吞吐量极高，需配合额外的缩放因子用于训练与推理，能效比卓越。 |
5. 技术路线
5.1 主流厂商设计范式对比
以下对比为相对定性尺度，具体微架构代际差异显著，需以厂商最新白皮书为准。
| 维度 | NVIDIA（SM） | AMD（CU） | Intel（Xe-core） | 通用 AI 加速器 |
|---|---|---|---|---|
| 向量宽度 | 每 SM 由 4 个分区组成，每分区含 16 个 32 位宽 ALU(基于 Ampere/Ada 架构特征)。 | 每 CU 内通常含 64 个 32 宽流处理器。 | 每 Xe-core 内含多个矢量引擎，宽度因代际而异。 | 脉动阵列或定制 MAC 阵列，宽度可达 256 或更高，灵活性各异。 |
| 矩阵加速单元 | Tensor Core，已演进至第 4/5 代，支持 FP8/FP16/BF16/TF32。 | Matrix Core，在 CDNA 架构中引入，提供类似矩阵乘加加速能力。 | XMX 引擎，专为加速矩阵运算设计。 | 脉动阵列或定制 MAC 阵列。 |
| 存储层次 | L1/共享内存统一设计，容量可灵活配置，最大共享内存可达 100KB 级以上。 | L1 缓存与 LDS 分离，设计哲学不同，利于特定 HPC 负载。 | 共享本地内存（SLM），提供高速数据交换。 | 通常配置大容量片上全局 SRAM 作为统一缓存。 |
| 线程调度模型 | SIMT（单指令多线程），以 32 线程为一组 warp 调度。 | Wavefront（波前），以 32 或 64 线程为一组调度，属 SIMD 的一种实现。 | SIMT 模型。 | 常采用更粗粒度流水线或 VLIW（超长指令字），以换取更高能效。 |
| 软件生态护城河 | CUDA 生态，开发者基数庞大，库与应用最成熟。 | ROCm/HIP 生态，已实现从 CUDA 一键转译的兼容性，成熟度快速追赶。 | oneAPI 生态，基于 SYCL 的跨架构开放标准。 | 自研编译器与推理引擎框架，与少数框架深度绑定。 |
5.2 设计权衡与演进趋势
不同设计哲学体现了对“单线程性能”与“吞吐量”的不同权衡。NVIDIA 倾向于构建算力更强、单 SM 资源更丰富的重核；AMD 则偏向部署数量更多、更轻量化的 CU。当前显著的演进趋势包括：
- 矩阵引擎的深度嵌入：原来以通用向量计算为主的 CU，正逐步将 Tensor/Matrix Core 作为一等公民嵌入，以应对 AI 计算范式的变化。
- 内存子系统的升级：随着 HBM（高带宽存储器）的迭代，CU 内部的共享内存容量和带宽同步扩张，以维持算力与访存之间的平衡。
- 近存计算：对 CU 内部及附近的 SRAM 进行架构级优化，减少数据搬运能耗，这是推理芯片竞争的关键战场。
6. 上游：决定 CU 竞争力的基石
计算单元的设计与制造高度依赖上游供应链的技术突破：
- 电子设计自动化工具与 IP：物理设计、标准单元库、高速 SRAM 编译器决定了 CU 的物理实现密度、能效和良率。
- 先进制造工艺：台积电 N4、N3 及未来的 N2 等制程节点，是 CU 集成度与能效比提升的物理基础。环绕栅极（GAA）晶体管架构对降低漏电、提升性能至关重要。（来源：台积电 2023-2024 年技术研讨会公开信息。）
- 晶圆基板上芯片（CoWoS）先进封装技术：高端 AI 芯片普遍依赖 CoWoS 技术。该封装技术的产能（台积电截至 2024 年公开消息称正持续翻倍扩产）直接决定了集成有大量 CU 和 HBM 的芯片的总出货量。
- 高带宽存储器（HBM）：SK 海力士、三星和美光生产的 HBM3/HBM3E 显存，是 CU 算力不被“饿死”的前提。其迭代速度、产能和价格，是整个 AI 加速器产业链的关键约束变量。
7. 下游：释放 CU 算力价值的场景
AI 芯片中的 CU 通过多层软件栈，最终服务于各类应用场景：
- 深度学习框架：PyTorch、TensorFlow 等框架将用户定义的模型转化为计算图，再由底层编译器生成可在 CU 上高效执行的内核。
- 高性能推理引擎：TensorRT、vLLM、SGlang 等引擎针对特定模型架构和硬件拓扑，深度优化 CU 内核的执行顺序和内存分配，在极低延迟下提供服务。
- AI 编译器栈：XLA、MLIR、Triton 等通过自动化的图优化、算子融合与代码生成，极致压榨 CU 的利用率，解放手动优化的人力成本。
- 垂直行业应用：在自动驾驶（实时多传感器融合感知）、量化金融（微秒级策略回测）、生命科学（蛋白质折叠模拟）等领域，CU 的并行处理能力是满足实时性与大规模计算需求的核心支柱。
8. 受益公司
以下公司凭借其在 CU 相关产业链上的布局，直接或间接受益于 AI 算力需求的爆发式增长。
| 公司 | 角色与逻辑 | 备注 |
|---|---|---|
| NVIDIA | 提供定义行业标准的 CU/SM 架构及 CUDA 生态。从 Hopper 到 Blackwell 架构，每代均大幅提升 SM 内 Tensor Core 算力，是 AI 浪潮最直接受益人。 | 数据中心部门营收在 2024 财年（截至 2024 年 1 月）同比增长 217%。 |
| AMD | 提供 CDNA 系列 AI 加速器，如 Instinct MI300X，采用 Chiplet 方案集成了大量 CU 和超大容量 HBM，在推理和 HPC 市场竞争力强劲。 | 2023 年 Q4 发布后，MI300X 成为公司历史上营收爬坡最快的产品，2024 年数据中心 GPU 营收指引多次上调。 |
| Intel | 拥有数据中心 GPU Max 系列（基于 Xe-HPC 架构）和 Gaudi 系列 AI 加速器，通过开放生态 oneAPI 吸引开发者，资本投入巨大以进入市场。 | 公开资料可见其在 2023-2024 年的多次发布会上强调其产品在特定 HPC 负载中的性能优势。 |
| 云厂商自研芯片 | 谷歌（TPU）、亚马逊（Trainium/Inferentia）、微软（Maia）等均在自研芯片中部署了大量定制的脉动阵列或类 CU 的计算模块，以降低对外购 GPU 的依赖并优化内部工作负载的 TCO。 | 据各公司公开博客与发布会，这些芯片已大规模内部部署，用于支撑自有 AI 服务。 |
| EDA 与 IP 巨头 | Synopsys、Cadence 提供物理设计、仿真工具；Arm 提供 Neoverse 等 CPU 核用于与计算阵列协同；CEVA、VeriSilicon 提供定制 DSP/AI 模块 IP。 | 这些“卖铲人”的业绩增长与 AI 芯片设计周期、客户数量高度相关。 |
9. 市场规模
公开资料中未见以“计算单元”为口径统计的独立市场报告，其市场规模通常体现在其构成的 AI 芯片市场中。
- AI 芯片市场规模：据 Gartner、IDC 等分析机构于 2024 年 Q1-Q2 发布的多份报告估算，全球用于数据中心的 AI 加速器市场规模在 2024 年预计达到 600 亿至 800 亿美元区间，并预计在 2027-2028 年间突破 1500 亿美元，年复合增长率（CAGR）超 30%。（注：来自分析师报告的二手传播数据，非直接一手资料，具体数值因机构口径而异。）
- 需求结构：云端训练市场由 NVIDIA 占据绝对主导份额。云端推理市场相对分散，CPU、GPU 及各类自研专用芯片（ASIC）共同瓜分这一高速增长的市场。
- 关键驱动：大语言模型（LLM）的参数量每 1.5-2 年增长一个数量级，其对 CU-小时（Compute Unit - Hour）的消耗呈指数级增长，是市场规模扩张的底层动力。Multi-Everything（混合专家模型，MoE）架构的普及更是在单次推理中激活更多计算单元，进一步推高了对总计算量的需求。
10. 玩家对比：性能与能效
由于具体产品的峰值算力数据随时刷新，此处仅提供定性比较框架。精确规格请以各公司最新产品手册为准。
| 对比维度 | NVIDIA 旗舰 GPU | AMD 旗舰加速器 | 云厂商自研 ASIC（如 TPU v5） | 初创公司推理芯片 |
|---|---|---|---|---|
| 通用算力（FP8） | 极高，通常为行业标杆级 | 极高，与 NVIDIA 同属第一梯队 | 高，但设计目标与通用 GPU 不同 | 高，专门针对特定算子极致优化 |
| 原理异构单元效率 | Tensor Core 效率高，兼容性好 | Matrix Core 效率高，特定场景可占优 | 脉动阵列效率极高，限制少 | 极高，但通用性远弱于 GPU |
| 显存容量与带宽 | 大容量 HBM3/HBM3e，带宽高 | 超大容量 HBM，容量常具优势 | 配置灵活，常与自家框架绑定 | 超大容量片上 SRAM，替代 HBM |
| 软件生态成熟度 | 极度成熟，参考资料完备 | 快速成熟中，HIP 兼容性良好 | 封闭但深度优化，开发门槛高 | 极封闭，需使用其专有工具链 |
| 部署灵活性 | 极高，几乎所有云均可获得 | 中高，获取渠道正快速拓展 | 仅限特定云平台供应商 | 仅通过该硬件厂商的云服务获取 |
制胜关键点：NVIDIA 的压倒性优势在于其“硬件-软件-系统”三位一体的封闭但高效的飞轮；AMD 的策略是提供开放且具有性价比的大容量显存方案；自研 ASIC 追求极致的 TCO 优化，但受限于软件生态的普适性。
11. 风险
- 供需错配风险：先进制造（如 N3 制程）与先进封装（CoWoS）产能的扩张速度，可能跟不上 AI 需求的爆炸式增长，导致高端 CU 芯片长期处于缺货状态，价格居高不下，阻碍技术普惠。
- 软件生态锁定风险：CUDA 生态的强大黏性是后发者的最大壁垒。即使存在理论上硬件性价比更高的竞争产品，其市场渗透率也会因高昂的软件迁移与验证成本而增长缓慢。
- 架构利用率不达预期风险：随着模型结构的快速演进（如稀疏化 Mixture-of-Experts 的 All-to-All 通信与动态路由），通用 CU 设计可能面临实际利用率（MFU）持续走低的挑战。芯片算力数字的纸面高增长，与最终用户能感受到的有效算力增长之间的差距可能拉大。
- 地缘政治与供应链集中度风险：先进制程、CoWoS 封装和 HBM 产品的生产高度集中在东亚少数公司与地区。全球贸易政策与地缘政治的任何变化，都可能对 CU 的稳定供应构成重大且不可预知的影响。
12. 误读纠偏
❌ 误读一：“CU 数量越多，AI 性能就一定越好。” ✅ 事实：这是一场典型的“数字游戏”误区。AI 性能是算力、访存带宽和软件协同效率三者乘积的结果。若一颗芯片拥有大量 CU，但显存带宽严重不足，会导致大量 CU 处于数据“饥饿”状态，实际峰值性能利用率可能不足 30%。此外，不同代际 CU 的微架构（如是否集成了专用矩阵单元）差异巨大。评估时必须基于 MLPerf 等权威基准测试的实际模型吞吐表现，而非单纯比较参数表中的 CU 数量。
❌ 误读二：“一个 GPU 的 CU 就等同于一个小型 CPU 核心。” ✅ 事实：两者专攻截然不同。CPU 核心为串行性能优化，拥有复杂的分支预测、乱序执行和深度缓存层级，以快速响应不规则的逻辑控制流。而 CU 为并行吞吐量优化，几乎摈弃了复杂的分支预测与重命名机制，依靠海量线程的快速切换来隐藏延迟。对于存在大量逻辑判断和任务依赖的代码，CU 的效率将断崖式下跌。两者是不同生态位下的设计，无法直接对比。
❌ 误读三：“只要用了 Tensor Core，性能就是标称峰值。” ✅ 事实：Tensor Core 的标称峰值（如 1 PetaFLOP/s）是在所有数据完美在片内、无任何搬运开销的理想模型下达成的。实际运算需要先执行数据搬运指令，再执行计算指令，还需要考虑指令流水线的启动和排空开销。只有通过精巧的软件流水排布和分块策略，才能接近峰值。实际应用通常能达到峰值的 40%~70% 即属优秀优化水平。
13. 最新事件
- （2024 年 3 月）英伟达发布新一代 Blackwell 架构：新架构将 SM 内部设计与专用加速单元进一步融合，引入了新的第二代 Transformer 引擎，综合 FP4/FP6/FP8 精度以成倍提升推理吞吐。其利用 NVLink-Ch-C2C 实现多 Die 互连，代表了当前 CU 集成与设计的最高技术水准。
- （2024 年 6 月）AMD 发布 MI325X 加速器：该产品作为 MI300X 的迭代，搭载了更大容量的新一代 HBM3E 显存，进一步强化了其“大显存、高带宽”的策略定位，将竞争焦点拉向“每 CU 可用的数据供给量”这一维度。
- （2024 年 5-7 月）云厂商自研芯片规模落地：谷歌宣布其自研的 TPU v5p 已大规模用于其下一代模型训练；微软公布其 Maia 100 芯片的部署细节，专为 Azure 云上的大模型推理负载优化。这标志着专用计算阵列设计路线的可行性正得到市场验证。
- （2024 年全年）推理优化驱动 CU 结构创新：多家初创公司及上市巨头推出面向推理的计算卡，核心逻辑是在芯片内部布置更大容量的 SRAM，以替代部分 HBM 的访问，从而降低延迟和功耗。这使得传统 CU 的“计算-访存”平衡设计面临新一轮评估。
14. 跟踪指标
- 出厂理论峰值算力：跟踪旗舰 AI 芯片的 FP8/FP16/INT8 峰值 TFLOPS/TOPS 值，这是硬件性能的上限基线。
- 显存带宽与容量：关注 HBM 的迭代（HBM3 -> HBM3E -> HBM4）及配置容量（如 192GB， 288GB），直接得出每 TFLOPS 算力对应的带宽值（Byte/FLOP 比），以衡量访存平衡度。
- MLPerf 基准测试成绩：每代芯片用于真实模型（如 GPT-3， Llama 2， Stable Diffusion）的训练和推理成绩，是评估软硬件协同效率（即峰值利用率）的最权威公开指标。
- 先进制程与封装产能动态：台积电等晶圆厂的月度营收简报，以及其法说会上关于 CoWoS、HBM 产能扩张进度的公开评论，是判断上游供应瓶颈何时缓解的核心依据。
- 软件生态关键适配进度：关注 ROCm 对 PyTorch 新特性的支持延时、oneAPI 的关键软件包更新、主流第三方 CUDA 库（如 FA2）在非 NVIDIA 硬件上的移植进展。
15. 信源
- NVIDIA 官方文档：《CUDA C++ Programming Guide》中的 “Hardware Implementation” 章节；历代架构（Turing， Ampere, Hopper, Blackwell）技术白皮书。NVIDIA 官网。
- AMD 官方文档：“RDNA 3 Instruction Set Architecture Reference Guide”，“AMD CDNA 3 Architecture” 白皮书。AMD 官网。
- Intel 官方文档：关于 Xe-HPG 及 Xe-HPC 微架构的白皮书与开发者指南。Intel 官网。
- 深度学习编译器：Triton 官方文档与 Github 代码库；Cutlass 库对 Tensor Core 分块策略的源码实现。GitHub Public Repos。
- 性能模型研究：Williams, S., Waterman, A., & Patterson, D. (2009). “Roofline: An Insightful Visual Performance Model for Multicore Architectures.” Communications of the ACM.