GPU

3 秒看懂

GPU（图形处理器）本为并行像素渲染而生，却凭借数千计算核心与超高带宽，成为深度学习训练的“算力心脏”。一颗现代数据中心 GPU 的半精度（FP16/BF16）张量算力可达数百 TFLOPS，通过高速互联（如 NVLink、InfiniBand）构建万卡集群，驱动万亿参数大模型。其本质是把“大量简单计算同时做”做到极致。

3 分钟产业解释

GPU 的核心竞争力来自两大支柱：高度并行的硬件架构与持续演进的软件生态。

• 硬件：内部包含数十至上百个流式多处理器（SM），每个 SM 又有诸多算术逻辑单元以及专为 AI 设计的张量核心（Tensor Core）。张量核心能在一个时钟周期内完成小型矩阵乘加运算，大幅提升深度学习最核心的卷积与 Transformer 注意力计算效率。为突破内存墙，GPU 使用堆叠高带宽内存（HBM），并与 GPU 芯片通过 2.5D 封装（如 CoWoS）紧密互联，实现数 TB/s 的显存带宽。多 GPU 间则靠 NVLink、NVSwitch 等专用高速链路构建全互联拓扑。
• 软件：CUDA（统一计算架构）生态是 GPU 的护城河。从底层驱动、算子库（cuBLAS、cuDNN）到分布式训练框架（Megatron-LM、DeepSpeed），开发者可高效将模型切分到成千上万个 GPU 上，使用张量并行、流水线并行、数据并行与专家并行（MoE）等组合策略加速训练。

当前 AI 训练市场，一家头部公司占据绝对主导份额。其产品迭代引领代际提升——每两年左右推出新架构，制程、显存带宽、片上互联、张量核心代数同步升级。下游云服务商、大型科技企业是主要采购方，一台 8-GPU 服务器价格可达数十万美元，供求长期紧张。产业上游涵盖晶圆代工（先进制程+先进封装）、HBM 内存供应商、EDA 工具商等，任何一个环节的瓶颈都会影响 GPU 交付。

15 分钟专家深入

从深度学习视角审视 GPU，需要跳出简单的“算力=TFLOPS”框架，进入内存层级、互联拓扑、并行策略三维一体的系统观。

1. 计算密度与算力释放
   GPU 的纸面算力（峰值 TOPS/ TFLOPS）是条件理想下的极限值。实际训练中，算力利用率（MFU）受内存带宽、通信延迟、算子实现等多重制约。大语言模型（LLM）的解码阶段往往因为自回归每一步的访存/计算比极低而变成内存瓶颈，此时 HBM 带宽比浮点算力更关键。因此在评估 GPU 时，需关注不同精度（FP32/FP16/BF16/INT8/FP8/INT4）的算力与对应的带宽，结合模型特点判断瓶颈。

2. 内存与互联的“硅基墙壁”

   • 单 GPU 内存容量决定能装下多大的模型参数与优化器状态。以混合精度训练（FP16 + FP32）为例，模型参数、梯度、优化器动量及方差所需总显存可达参数量 × 字节数的 4–6 倍。因此千亿模型单卡放不下，必须跨卡进行模型切分。
   • 互联带宽与拓扑则是多卡性能的命门。张量并行（TP）要求 AllReduce/ReduceScatter 在每个微步中同步数据，通信量大且高频，因此通常限制在单个服务器内使用 NVLink 互联的高速 GPU 组。流水线并行（PP）对通信带宽要求稍低，但仍需点对点传输激活值。数据并行（DP）梯度同步则依赖 AllReduce，通常通过高速网络（如 InfiniBand）在服务器间完成。MoE 架构由于存在“门控路由”将 token 分发到不同专家，会引入 All-to-All 全交换通信，对互联的全局带宽和延迟提出严峻要求。

3. 软件栈与算子魔法
   高性能算子实现（如 FlashAttention 通过分块计算减少 HBM 读写）能够让同样硬件提升数倍有效吞吐。CUDA 生态允许开发者灵活编写 Kernel，利用共享内存、寄存器、张量核心的 warp 级矩阵指令进行极致调优。编译器（如 NVCC、TensorRT）与训练框架的协同是提升 MFU 的关键。这也构成 GPU 远超其他 AI 芯片的壁垒：十年以上的代码积累、无数优化过的算子库、成熟的分析工具链。

4. 功耗与散热
   单 GPU 功耗从数据中心级 300–700W 不等，风冷、液冷方案影响部署密度。未来随着算力攀升，芯片面积增大，光罩极限与散热能力将成为架构革新的刚性约束。

定性示例：典型训练场景中，8× GPU 服务器内部通过高速 NVLink 全互联，外部通过 400Gb/s 以上 RDMA 网卡连接。张量并行通常放置在 NVLink 域内，流水线并行跨节点，数据并行在整个集群范围进行 AllReduce。MoE 的 All-to-All 通信需要跨越更大拓扑时，更依赖网络架构的设计。[基于公开技术原理定性描述]

技术原理（最深）

探讨 GPU 如何从硅到软件兑现“大模型”算力需求，重点放在深度学习工作负载的映射机制。

1. 单 GPU 内部微架构简图

+-------------------------------------------------------+
|  GPU Die                                              |
|  +-----+  +-----+  +-----+  +-----+  +-----+         |
|  | SM0 |  | SM1 |  | SM2 |  ...  | SM_n|             |
|  |  |--|  |  |--|  |  |--|         |  |--|            |
|  |  |CUDA Core|  |Tensor Core|     |  |              |
|  |  | (FP32/64) |  (矩阵乘加)  |     |  |              |
|  |  |--|  |  |--|  |           |     |  |              |
|  +--|---+  +--|---+  +--|---+  ...  +--|---+         |
|      |         |          |              |              |
|   L1 Cache+共享内存   每个SM配本地存储               |
|      |         |          |              |              |
|      +---------+----------+--------------+              |
|                     |                                   |
|              Crossbar / 片上网络                        |
|                     |                                   |
|            +--------+--------+                         |
|            |    L2 Cache    |                          |
|            +--------+--------+                         |
|                     |                                   |
|           +---------+---------+                        |
|           |  内存控制器 (HBM) |                        |
|           +-------------------+                        |
+-------------------------------------------------------+
|  HBM Stack  |  HBM Stack  |  ...  (通过中介层相连)   |
+-------------------------------------------------------+

• SM（流式多处理器）：基本调度单元，以 warp（32 线程束）形式执行指令。
• CUDA 核心：标量算术逻辑单元，处理浮点/整数运算。
• 张量核心：专用于矩阵乘加（D = A×B + C）的硬件单元，每周期可对小型矩阵（如 16×16）进行操作，支持混合精度输入（如 FP16 输入、FP32 累加）。从初代到当前演变中，支持的数据格式和吞吐量持续提升，并引入稀疏性加速。
• 内存层级：寄存器（SM 内部最快）→ L1/共享内存（用户可控，低延迟）→ L2 缓存（芯片全局）→ HBM（片外高带宽）。深度学习算子优化的关键就是将数据尽可能留在 SM 附近，最大化计算/访存比。

2. 张量核心的计算映射

对于深度学习中最常见的 GEMM（通用矩阵乘法），GPU 将大矩阵分块（tiling），每个块交由一个张量核心指令完成。例如在 Transformer 的 Self-Attention 中，Q×K^T、Softmax、Attn×V 均可通过高度优化的张量核心库（如 cuBLAS）实现。混合精度训练中，前向与反向的矩阵乘法使用 FP16/BF16，权重更新以 FP32 累加，权重主副本与优化器状态保持 FP32。张量核心的 FP8 支持进一步加速推理，而 INT4 通常借助 INT8 张量核心的 DP4A 等指令实现。

3. 多 GPU 并行机制与通信原语

以 Megatron-LM 风格的 3D 并行训练 GPT 类模型为例：

张量并行（TP）

• 将单个 Transformer 层的权重矩阵沿列或行切分到多个 GPU，每个微步计算后需要执行 AllReduce 或 ReduceScatter 来汇总/分发部分激活。通信模式：AllReduce / ReduceScatter。
• 通信量：与序列长度、隐藏维度、并行度成正比，极高频（每层前向后向都要通信）。因此必须依赖超高带宽低延迟的片间链路（如 NVLink）。

流水线并行（PP）

• 将不同层放到不同 GPU 组，形成流水线，中间激活通过点对点传送。通信量相对较小，但可能引入流水线气泡。

数据并行（DP）

• 每 GPU 持有完整模型副本，各自计算不同数据批次，梯度通过 AllReduce 同步。通信量等于参数梯度总量，在优化器步频上发生。

专家并行（MoE）

• 路由层将 token 分发到不同专家（若干 FFN），涉及 All-to-All 通信。通信量同样很大，需要精心设计拓扑和调度算法。

注意：MoE 的激活参数并非总参数的一半或三分之一，而是共享层加上被路由命中的专家参数之和，远小于总参数量。[符合易错点要求，仅定性说明]

4. 封装与集成

为解决内存带宽、容量与芯片面积瓶颈，GPU 普遍采用 2.5D 硅中介层封装技术（如台积电 CoWoS），将 GPU 核心逻辑芯片与多个 HBM 堆栈以微凸块连接在同一硅中介层上，再通过中介层连接到封装基板。这使得内存总线宽度可达数千位，实现数 TB/s 带宽。未来更先进的 3D 堆叠与硅光子互联可能进一步打破集成瓶颈。但具体是 CoWoS-S、L、R 归属哪代产品，未经厂商确认的情况下不作死板对应。

技术演进史

1. 固定功能管线时代（1990s）：顶点着色、像素着色分开，硬件不可编程，仅用于图形。
2. 统一着色器架构（2006 前后）：流处理器可动态分配用于顶点、像素、几何计算，为通用计算奠定基础。
3. GPGPU 萌芽（2006–2012）：CUDA 发布（2007），程序员可直接用 C 在 GPU 上调度并行任务。早期科学计算、物理模拟首先受益，功耗和编程门槛仍在。
4. AI 觉醒（2012–2017）：AlexNet（2012）使用 GPU 训练，深度学习范式引爆。GPU 厂商迅速优化 cuDNN，并引入半精度浮点支持，训练速度实现数量级增长。
5. 专用 AI 核时代（2017–至今）：第一代张量核心随 Volta 架构推出（2017），AI 算力飙升。随后每一次架构更迭都强化张量核心的格式支持（BF16、TF32、FP8、INT8）、稀疏计算能力、多 GPU 互联。同时，芯片面积急剧增大，功耗从 250W 级爬升至 700W 级，液冷、封装技术（CoWoS）成为标配。HBM 从 HBM2 演进至 HBM2e、HBM3，容量与带宽成倍提升。
6. 生态决战期（当前）：CUDA 生态、NCCL 通信库、Megatron/DeepSpeed 框架深度绑定硬件特性，形成极高迁移壁垒；其他厂商的兼容方案需绕开 CUDA 生态限制，从上层框架或翻译层寻求突破。

技术路线对比（量化表）

以下将 GPU 与 CPU、FPGA、AI ASIC（如 TPU）在深度学习训练与推理的关键维度进行对比。由于检索资料缺失，具体数值未披露，以定性级别表示。

注：级别基于公开技术路线定性评估，无精确数字。[非量化依据]

当前，GPU 的最大优势在于软硬件全栈整合及庞大的开发者惯性，其训练场景统治力短期内难以撼动。FPGA 与 ASIC 在特定先进推理流、能效极致优化的场景有立足点，但生态碎片化是主要障碍。

上下游

上游

• 设计工具与 IP：EDA（布局布线、信号完整性分析）、高速 SerDes PHY IP、HBM PHY IP。
• 晶圆代工：先进制程逻辑芯片制造（如 5nm 家族、3nm 等），目前高度依赖少数代工厂。
• 封装基板与中介层：ABF 载板、硅中介层制造、CoWoS 工艺产能。
• 内存：HBM 堆栈与逻辑接合，由 DRAM 厂商通过硅通孔（TSV）工艺生产，GPU 厂商直接采购集成到封装中。
• 测试与设备：先进封装测试、探针卡、老化测试设备等。

下游

• 服务器/OEM：设计 8-GPU 服务器节点，包括供电、散热、背板互联。
• 云服务商（CSP）：自建超算集群，对外出租 GPU 实例。
• 大型互联网/科技公司：自研大模型训练，大量采购 GPU 集群。
• AI 创业公司：基于云 GPU 或自租算力进行模型训练。
• 行业客户：自动驾驶、医疗影像、量化金融等垂直领域。

关键指标

评估面向深度学习负载的 GPU 时，可使用以下技术指标组合：

• 浮点算力：FP32、FP16/BF16 Tensor Core 吞吐，推理常用 INT8/FP8 吞吐，单位 TFLOPS/TOPS。
• 显存带宽与容量：HBM 总带宽（TB/s），总容量（GB）。带宽是关键，容量决定可容纳模型大小。
• 互联带宽：NVLink 单链路速率与总带宽（GPU-to-GPU），PCIe 主机接口带宽。
• 功耗（TDP）：设计热设计功耗，影响部署密度与散热方案。
• 制程与晶体管数：反映集成度与能效，但需结合架构效率。
• 芯片面积：影响良率与性价比。
• 软件生态兼容：支持 CUDA 版本、TensorRT、DeepSpeed、FlashAttention 等的优化程度。

具体数值因世代而异，未经准确资料不列出确切数字，投资决策应参阅最新产品规格白皮书。[未检索到数据，定性建议]

供需与市场数据

由于检索未获取第三方报告，仅基于公开行业共识定性描述：

• AI 大模型军备竞赛推动数据中心 GPU 需求连续多年远超供给。头部供应商产品交付周期曾长达数月，二手价格甚至高于官方指导价。
• 上游瓶颈集中于先进封装（CoWoS）产能，以及 HBM 的供应。任何环节扩产节奏都影响 GPU 出货。
• 云服务商是最大买家，AI 基础设施投入巨大，GPU 作为核心芯片占据显著比重。全球 IT 基础设施总支出规模达万亿美元级别，AI 相关基础设施支出是其中的重要组成部分。
• 地缘政治因素使部分国家与实体面临采购限制，客观上推动本土 GPU 或替代芯片发展。
• 市场格局高度集中，头部供应商在训练 GPU 生态、软件栈和整机验证上优势显著；未锁定第三方份额口径前，不写具体市占率。

代表公司与资本映射

国际核心

• NVIDIA：GPU 计算之王，数据中心业务收入规模巨大，产品线覆盖训练（H 系列）到推理（L 系列/其他），生态完善。
• AMD：拥有 FPGA 和 CPU/GPU 混合方案，CDNA 架构专为计算设计，份额提升显著。
• Intel：计划通过 Ponte Vecchio 等重返 HPC/AI 市场，但进展待观察。

国内相关（A 股/国产替代）

• GPU 设计公司：部分国产 GPU 企业推出可用于 AI 训练的通用 GPU 产品，部分与 CUDA 兼容或自研生态。
• AI 芯片公司：部分专注 ASIC 路线（训练/推理），但生态与 GPU 并存。
• 产业链受益环节：先进封装（载板、设备）、HBM 内存、服务器 ODM、光模块/高速互联。

以上未列出具体证券代码或财务数据，仅作概念映射说明，不构成投资建议。

产业观察维度

1. 需求侧：大模型参数量持续增长，训练与推理算力需求上升，下游云厂商资本开支指引可作为行业景气观察项。
2. 供给侧：先进制程与封装产能紧张会影响产品交付、价格和客户排产。
3. 代际升级：新架构 GPU 的 AI 性能提升会驱动平台替换周期，但实际收益取决于软件栈适配和集群效率。
4. 国产替代：外部管制下，国产 GPU 生态可能获得更多验证机会，但仍受 CUDA 粘性、硬件性能和开发者生态约束。
5. 竞争格局：云厂商自研 ASIC（如 TPU、Trainium）可能分流部分训练或推理负载；跨架构软件栈（如 OpenAI Triton）也会降低对特定硬件的绑定。
6. 地缘政治：出口管制可能重塑供应链，并影响相关企业的收入结构和客户区域分布。

常见误读纠偏

1. “GPU 就是显卡，只能打游戏”
   GPU 早已成为并行计算通用引擎，CUDA 使其能够处理物理模拟、AI 训练、科学计算等诸多任务。数据中心 GPU 甚至没有视频输出接口。

2. “AI 训练显存容量越大越好，带宽无所谓”
   训练大模型时，若带宽不够，大量时间等待数据移动，导致算力利用率极低。带宽与容量需配套，且多卡互联下全局带宽比单卡容量更重要。

3. “MoE 模型激活参数就是总参数的一半（或 1/N）”
   激活参数仅包括共享的注意力层、embedding 层、门控网络以及被动态选中的专家参数，其大小远小于总参数，取决于路由策略和专家负载，无固定比例。

4. “张量并行通信就是 All-to-All”
   标准张量并行和流水线并行中的通信主要用到 AllReduce、ReduceScatter 和点对点传输；All-to-All 主要用于 MoE 的 token 分发和结果收集，两者原理不同，切不可混淆。

5. “只要有 HBM 就够了，封装不重要”
   将 HBM 集成到 GPU 需要 2.5D 先进封装，直接决定了带宽可实现性、信号完整性和功耗，同样关键。

学习路径

1. 基础并行计算：《CUDA C++ Programming Guide》、GTC 教学视频，理解线程组织、共享内存、warp 同步。
2. GPU 架构：NVIDIA 白皮书（如 A100、H100 白皮书）中的 SM、Tensor Core 改进。
3. 深度学习算子：研究 FlashAttention、cuBLAS 等优化实现，学习算子融合与分块策略，推荐《Efficient Processing of Deep Neural Networks》等。
4. 多卡训练系统：
   • 分布式理论：《分布式深度学习》（论文）、DeepSpeed、Megatron-LM 源码阅读。
   • 通信库：NCCL 官方文档，理解 Ring、Tree 算法，InfiniBand/RoCE 基础。
   • 并行策略组合：实验 Megatron-DeepSpeed 配置。
5. 推理优化：TensorRT、量化（INT8/FP8）、KV Cache、Continuous batching 等。
6. 生态替代：了解 AMD ROCm、Intel oneAPI、OpenAI Triton 等跨平台方案的异同。
7. 硬件与封装：先进封装技术文献、Hot Chips 会议相关演讲。

一句话总结

GPU 是深度学习时代的“算力集装箱”，它以可编程的大规模并行架构与无远弗届的软件生态，标准化了智能的炼制方式，并仍在摩尔定律的余晖中不断堆叠。

延伸阅读与来源

• NVIDIA 各代 GPU 架构白皮书（如 Volta、Ampere、Hopper），可在 NVIDIA 开发者网站获取。
• 《CUDA C++ Programming Guide》（NVIDIA 官方文档）。
• 论文：Attention Is All You Need；Megatron-LM；DeepSpeed；FlashAttention 系列。
• 行业分析：SeekingAlpha / Jefferies 等投行关于 AI 算力的专题报告（第三方机构）。
• Hot Chips 历年 GPU 专题演讲，涵盖架构细节。
• Jensen Huang GTC 主题演讲，提供产品性能对比与路线图。

由于本次检索工具未能获取即时资料，以上延伸阅读基于公开领域信息总结，非实时更新。具体研究时请查阅一手来源。

声明：本文未引用具体财报数字或未公开产品参数，所有技术描述仅限于通用原理与公开演进趋势，不构成任何投资建议。