通用 GPU 计算

3 秒看懂

GPGPU（通用图形处理器计算）是利用原本为图像渲染设计的大规模并行处理器，执行科学计算、AI训练、数据分析等非图形工作负载的技术范式。关键在于：一颗芯片内部集成数千个简单计算单元，通过单指令多线程（SIMT）模型同时处理海量数据，在密集线性代数运算上获得远超 CPU 的吞吐量。

3 分钟产业解释

传统 CPU 为低延迟、复杂控制流优化，核心数有限；GPU 则拥有成百上千个较小的算术逻辑单元（ALU），以吞吐量为纲。NVIDIA 在 2006 年推出 CUDA 平台后，开发者不再需要将问题伪装成三角形绘制，直接使用类 C 语言即可调度 GPU 并行算力，GPGPU 由此爆发。今天，AI 大模型的训练与推理几乎完全依赖 GPGPU：一个千亿参数 Transformer 的每一次前向传播，本质是海量矩阵乘法与注意力计算，这正是 GPGPU 的典型甜蜜点。产业链因此重塑——从通用服务器转向以 GPU 为核心的异构计算节点，配套高带宽内存（HBM）、先进封装（如 CoWoS）和高速互连（NVLink、InfiniBand）构成完整系统。竞争层面，NVIDIA 凭借 CUDA 生态和持续架构迭代占据主导；AMD 的 ROCm 生态和 Intel 的 oneAPI 正在追赶；云厂商则通过自研 AI 芯片（TPU、Trainium 等）分流部分训练和推理市场。整个产业正从“写死功能”的图形流水线，走向可编程的领域专用架构，而 GPGPU 正是这条路径上目前最通用、软件生态最成熟的实现。

15 分钟专家深入

GPGPU 的本质是把“大规模数据并行”这一计算模式从图形领域抽象出来，服务于更广义的负载。其成功源于三个支柱：

1. 硬件层面：以流多处理器（SM）为核心，每 SM 包含众多 CUDA Core/Tensor Core、寄存器文件、共享内存/L1 缓存，以及专用于特定数制的张量加速器。典型高端芯片集成逾百 SM，能同时维持数以万计的活跃线程，借此掩盖数千周期的内存延迟。
2. 编程模型：CUDA 的层次化线程模型（Grid/Block/Thread）将问题空间映射到硬件，配合统一内存寻址、协作组、图执行等不断进化的抽象，极大降低了并行编程门槛。
3. 软件生态：cuBLAS、cuDNN、NCCL 等深度优化库，与 PyTorch、TensorFlow 等框架深度耦合，形成“开发者无感”的加速体验；底层编译器（PTX → SASS）针对每一代架构做指令调度与寄存器分配优化。

当前技术前沿集中在稀疏性计算（结构化稀疏指令）、混合精度（FP8/FP4）、显存带宽与容量的权衡、以及多芯片扩展的通信效率。例如，大规模训练中常采用张量并行（模型层内分片，产生 AllReduce/ReduceScatter 通信）、流水线并行（层间分片，点对点通信）和数据并行（副本间梯度同步，AllReduce）的组合策略，以匹配 GPU 计算与互联拓扑。MoE（混合专家）结构则引入 All-to-All 通信来分发 token 给不同专家，这类不规则通信对硬件与库的要求更高。

技术瓶颈同样清晰：单芯片光罩极限（reticle limit）限制了面积，迫使向 Chiplet 和先进封装演进；HBM 堆叠带来带宽提升的同时也带来成本、功耗与热管理的系统性挑战；软件生态的锁定效应使得非 NVIDIA 方案即使硬件参数更好，实际易用性与性能仍存差距。目前，产业在探索“更专用的通用性”：Tensor Core 本身就是一种领域专用功能的泛化，未来可能继续加入对稀疏、量化、图计算的原生支持，在保持一定可编程性的前提下，进一步逼近专用芯片的效率。

技术原理

执行模型：从 SIMD 到 SIMT

GPGPU 的并行模型常被描述为 SIMT（单指令多线程）：一组线程（warp，通常 32 个线程）在同一时钟周期内执行同一条指令，但各自使用不同数据。与 CPU 的 SIMD 不同，SIMT 中一个 warp 内的所有线程共享同一个程序计数器，以锁步方式执行同一条指令；每个线程拥有独立的寄存器状态，分支时通过执行掩码处理分歧，对编程者透明。

线程被组织为 Block，Block 组成 Grid。每个 Block 被调度到一个 SM 上执行，SM 内含多个 warp scheduler，可在不同 warp 间零开销切换，以此隐藏内存访问延迟。

内存层次与延迟隐藏

全局显存 (HBM/GDDR)  
  ↕ L2 缓存 (片内共享)  
    ↕ L1 缓存 / 共享内存 (每 SM)  
      ↕ 寄存器文件 (每线程私有)  

• 全局内存（VRAM）：容量巨大但延迟高（数百时钟周期），依靠合并访存和大量并发 warp 来掩盖延迟。当前高端产品普遍采用 HBM 堆叠，位宽可达 5120 bits 级别，带宽约数 TB/s [厂商财报披露范围，具体数值随代际变化]。
• 共享内存：片上 SRAM，数十 KB 每 SM，延迟极低，由 Block 内线程协作使用，常用于矩阵分块、并行归约等。程序员通过 __shared__ 显式管理。
• 寄存器：每 SM 寄存器文件容量有限，每个线程独占分配的寄存器；过多寄存器使用会降低 SM 上的驻留 warp 数（occupancy），影响隐藏延迟能力。

计算核心：CUDA Core vs Tensor Core

• CUDA Core：每时钟可执行一条单精度（FP32）乘加或整数操作，是通用计算的基石；也支持 FP64，但性能通常仅为 FP32 的 1/32 或 1/64（取决于架构面向的细分市场）。
• Tensor Core：专为矩阵乘加（D = A×B + C）设计，单指令可完成 4×4 子块矩阵运算，支持 FP16/BF16/FP8/INT8/INT4 等混合精度。在 AI 训练中广泛使用 BF16/FP8 实现数倍于 FP32 的吞吐。核心微架构采用脉动阵列或多级点积结构 [具体设计未充分公开，不同厂商实现存异]，并以 warp 级协作完成更大维度矩阵分块。

典型计算模式与通信原语

以 Transformer 为例：

• 线性层（FFN、QKV 投影）：权重矩阵 W 与输入 X 的乘法，规模可达 [batch×seq, hidden] × [hidden, 4×hidden]。通过分块加载到共享内存，用 Tensor Core 执行分块乘加。
• 注意力：QK^T 和 Softmax 后的加权求和，涉及归约和 element-wise 操作。在长序列下，FlashAttention 类算法通过分块重计算代替显存访问，大幅降低 I/O。
• 通信：
  • AllReduce（数据并行、张量并行）：每个 GPU 贡献部分梯度/激活，全体获得相同结果，常用 Ring 或 Tree 算法。
  • ReduceScatter / AllGather（张量并行）：ReduceScatter 先做归约并分散结果，AllGather 收集分散的分块。
  • All-to-All（MoE dispatch & combine）：每个 GPU 向所有其他 GPU 发送不同 token 数据，通信模式不规则，对网络拓扑和路由算法提出高要求。

定量理解（定性范围，非固定数值）

• 典型训练用 GPU 的 FP16 Tensor Core 算力可达数百 TFLOPS [厂商公开峰值]，FP32 约几到几十 TFLOPS。
• 显存容量多在 80 GB 级别（HBM）；AI 服务器常配置 8 张 GPU，通过 NVLink 全互联，单节点显存聚合带宽可达数十 TB/s 量级。
• 千亿参数大模型训练需数千 GPU 协同，总训练时长以周计，通信开销占比可超 40% [行业论文披露]。

技术演进史

• 萌芽期（1999–2006）：GPU 硬件具备可编程着色器，但编程只能通过图形 API（OpenGL/DirectX）迂回实现。少量研究者将数据打包为纹理进行通用计算，效率极低。
• CUDA 诞生（2006）：NVIDIA 发布 CUDA 1.0，提供 C 语言扩展和驱动层，首次让 GPU 成为真正的通用计算平台。同年 G80 架构引入统一着色器模型，硬件层面为通用计算铺路。
• 生态扩展（2010–2015）：Fermi 架构（2010）加入 ECC 支持、完全 C++ 支持，标志着 GPU 进入数据中心。Kepler（2012）大幅改进双精度和动态并行。Maxwell（2014）强调能效，使单精度算力大幅提升。此时 OpenCL 作为开放标准一度被 AMD 和学界推崇，但因生态碎片化逐渐式微。
• AI 专用化（2016–2019）：Pascal 架构（2016）集成 NVLink、统一内存，并支持打包 FP16 乘加操作。Volta（2017）首次引入 Tensor Core，提供对矩阵乘加的原生加速，并推出 NVSwitch 构建 DGX 系统。图灵（2018）首次引入 INT8/INT4 Tensor Core，推理加速。同期，Google 推出 TPU，证明专用架构的潜力，也反向推动 GPGPU 继续集成更多 DSA 功能。
• 数据中心的系统化（2020–至今）：Ampere 架构引入结构化稀疏、第三代 Tensor Core、多实例 GPU（MIG）支持切分；Hopper 架构（面向数据中心）进一步强化 Transformer 引擎（FP8），并引入 DPX 指令加速动态规划。封装上，从单芯片向 Chiplet 和多 die 互联演进 [各代际细节需参考厂商披露，本文只作趋势定性]。软件栈上，CUDA 版本迭代至 12.x，引入 CUDA Graphs、异步拷贝、编程模型简化等，巩固护城河。

技术路线对比（量化表）

因缺乏来自可验证来源的具体实测数据，下表以定性比较和典型类别标注（基于行业共识概括，精确数值须以厂商最新白皮书为准）：

说明：上述对比反映整体趋势，同一厂商不同型号产品可能差异显著，且新一代产品参数变化快，决策需依据最新实测数据。

上下游

上游

• 晶圆制造与封装：先进制程（5 nm 级及更先进节点）由代工厂提供，目前 GAA/FinFET 等工艺演进直接影响晶体管密度与能效；3D 封装（如 CoWoS-S/R/L）将计算 die 与 HBM 集成在同一中介层，成为高端 GPGPU 标配。
• 高带宽内存：HBM 由 DRAM 厂商提供，堆叠层数不断增加，带宽与容量均快速提升。HBM 的供应直接制约 GPU 产能。
• 互联 IP：PCIe、NVLink、InfiniBand/Ethernet 控制器等，决定节点内外带宽。高速 SerDes 和硅光子等新兴技术受高度关注。
• 电源与散热：单卡功耗已达数百瓦，需高效供电（如垂直供电、分时供电）和液冷散热方案。

下游

• 云服务商：自建超大规模集群用于内部 AI 服务，并向外部出租 GPU 实例。
• 服务器 OEM：组装 DGX 等一体化系统或标准 GPU 服务器，面向企业客户。
• 企业客户：金融、汽车、医疗、能源等行业自建或租用 GPU 集群进行训练、仿真等。
• 软件栈与框架：深度学习框架（PyTorch， TensorFlow， JAX）、推理引擎（TensorRT， ONNX Runtime）、分布式训练库（Megatron-LM, DeepSpeed）均为下游关键环节。

关键指标

（以下指标无具体数字，仅定义重要性及典型度量方向）

1. 峰值算力：描述芯片在最高频率下执行特定精度（如 FP16 Tensor Ops）的理论最大值，直接关联训练速度。
2. 有效吞吐量：实际应用中受限于内存带宽、软件优化等，常以“模型 tokens/秒”或“Sample/s”衡量。
3. 显存容量与带宽：后者往往是真实瓶颈；大模型参数、优化器状态、KV cache 均对容量有要求。
4. 通信带宽与延迟：卡间（NVLink）和节点间（RDMA 网络）带宽影响扩展效率；延迟决定 AllReduce 的微步开销。
5. 功耗与能效：TDP（热设计功耗）和实际 pJ/FLOP，决定数据中心电力成本与散热可行性。
6. 生态兼容性：对主流框架的支持程度、算子覆盖率、调试工具链（Nsight, rocprof）完善度。

供需与市场数据

由于无法获取最新市场数据，此处仅做结构性说明（具体数值需查阅权威行业报告）：

• 需求端：AI 训练模型规模每年呈数量级增长，训练算力需求增长远超摩尔定律；推理需求亦随大模型部署而激增。
• 供给端：高性能 GPU 长期供不应求，因 CoWoS 封装和 HBM 产能存在瓶颈，交付周期拉长。多家云厂商推出自有 ASIC 以降低对单一供应商依赖。
• 市场结构：NVIDIA 在数据中心 GPGPU 市场占据主导地位，份额超 80% [多份行业调研估算]；AMD 市场份额在逐步提升；Intel 刚刚入局。云端自研芯片的部署规模显著增加，但多用于内部业务或特定云实例。

代表公司与资本映射

• NVIDIA：生态最完整，从架构定义、编译器、库到系统一体；主要收入来源为数据中心 GPU + 网络 + 软件订阅。
• AMD：凭借 CDNA 架构持续迭代，以性价比切入 HPC/AI 集群，借 HIP 兼容 CUDA 吸引迁移。
• Intel：Falcon Shores 等计划将 x86 与 GPU 整合，oneAPI 统一编程模型，尚需证明量产竞争力。
• Broadcom/Marvell：为云厂商定制 ASIC 提供关键 IP（如 SerDes， 芯片互联），间接受益于 GPGPU 替代趋势。
• 设备与封测：ASM International、台积电、日月光等，掌握先进封装和 HBM 集成技术，间接决定 GPGPU 产能。
• 应用方：微软、Google、Meta、Amazon 等，自研芯片同时大量采购 GPGPU，驱动市场。

投资逻辑

1. 生态护城河：CUDA 生态转换成本极高，NVIDIA 持续获益。但需警惕云端自研和开源生态（如 Triton， MLIR）降低锁定。
2. 先进封装与 HBM 供应链：GPGPU 性能提升越来越依赖封装集成，相关设备、材料、封测企业具有长周期增长逻辑。
3. 推理市场增量的分化：推理相较训练对功耗、延迟更敏感，可能分化出 GPGPU、ASIC、FPGA 并存的市场格局，需关注模型压缩与编译技术的进步方向。
4. 地缘与产能风险：高端制程与 HBM 生产高度集中，供应链安全性成为估值因素。
5. 第二梯队机会：AMD 若能解决 ROCm 的算子覆盖和稳定性，可能取得份额突破；Intel 在“XPU”愿景下若按期交付，或重塑市场预期。

常见误读纠偏

误读一：GPU 就是大量 CPU 小核心堆叠
纠正：GPU 核心远非“小 CPU”。其取指、分支预测、乱序执行等能力弱于 CPU；但拥有大量 ALU 和超大寄存器文件，采用 SIMT 模型以海量线程并行掩盖延迟。它们是为吞吐量而生的数据并行引擎，擅长流式处理相同操作，不擅长执行复杂分支或低延迟单线程任务。

误读二：任何大规模矩阵运算都可以无脑用 GPU 加速，速度一定更快
纠正：数据是否适合并行、算法计算密度、数据拷贝开销均影响实际加速比。若问题本身计算量小但频繁在 CPU 与 GPU 间迁移数据，或算法包含大量串行逻辑，GPU 可能反而不如 CPU。Amdahl 定律同样适用。

误读三：Tensor Core 就是“内积阵列”，只能做矩阵乘
纠正：Tensor Core 的核心确是加速矩阵乘加，但通过巧妙的 warp 级协作和数据布局，也可用于卷积、反卷积、多头注意力等，前提是将其建模为矩阵乘法。不过，它并不替代 CUDA Core，后者仍负责一切非矩阵乘加类计算，包括激活函数、掩码生成、控制流等。

误读四：GPGPU 和 AI 芯片是同一概念
纠正：AI 芯片是一个更宽泛的术语，包括 GPGPU、TPU、LPU、NPU 等。GPGPU 仍是目前软件通用性最强的一类，可做物理仿真、分子动力学、视频编解码等非 AI 负载；而许多 AI 专用芯片为神经网络推断或训练做了大幅硬化，较难重编程至其他领域。

学习路径

1. 基础并行编程：理解线程、进程、SIMD、Amdahl 定律。
2. CUDA 入门：《CUDA C++ Programming Guide》, 通过向量加法、矩阵乘法等入手，掌握 kernel 编写、内存管理、错误处理。
3. 性能优化：理解 occupancy、共享内存、Bank Conflict、合并访存、异步流、CUDA Graphs；使用 Nsight Systems/Compute 进行分析。
4. 深度学习加速：学习 cuBLAS、cuDNN，并了解框架如何调用底层库；尝试手写一个简单的全连接层或注意力层 kernel。
5. 多 GPU 编程：掌握 NCCL 基础、分布式训练拓扑，学习 Megatron-LM 等对张量并行/流水线并行的抽象。
6. 异构计算系统：结合 NVLink/NVSwitch、InfiniBand/RoCE，理解计算-通信重叠、拓扑感知调度。
7. 追踪前沿：阅读 GPGPU 架构白皮书、学术会议（ISCA、MICRO、HPCA）中 GPU 架构与 DSA 相关论文，跟进 PyTorch 2.0/torch.compile 等新动态。

一句话总结

GPGPU 通过将高度并行的吞吐量计算从图形领域抽象出来，并辅以 CUDA 级深生态，成为当前 AI 训练和科学计算无可替代的基础算力平台，其技术演进正在从“通用并行”向“领域专用功能可编程化”收敛。

延伸阅读与来源

• NVIDIA 官方 CUDA 文档与架构白皮书（Tesla、Ampere、Hopper 等各代）
• AMD ROCm 文档及 CDNA 白皮书
• Intel oneAPI 编程指南
• 经典文献：《CUDA by Example》《Programming Massively Parallel Processors》
• 行业报告：Jon Peddie Research、Mercury Research、IDC 对 GPU 出货量和市场份额的季度追踪
• 学术论文：FlashAttention, Megatron-LM, ZeRO 等，以及 ISCA、HPCA 关于 GPU 架构和 DSA 的最新研究

（注：本文所有定性描述均基于领域共识，未包含来自未确认来源的精确规格与性能数字；具体技术参数请以各厂商最新官方数据为准。）