图形处理器

3秒看懂

GPU（图形处理器）最初为图形渲染设计，因其大规模并行计算能力，已成为深度学习训练和推理的核心计算引擎。一张现代数据中心GPU拥有数千至上万个计算核心，配合高带宽内存和高速互联，能在数周内完成数万亿参数的模型训练。当前英伟达主导市场，但AMD、英特尔及云厂商自研芯片正快速追赶。

3分钟产业解释

定位与核心价值

GPU本质是一块擅长“简单操作、大量并发”的处理器。与面向任务调度的CPU不同，GPU将大部分晶体管用于算数逻辑单元（ALU），可以在一个时钟周期内同时执行成千上万个乘加运算。这一架构特征恰好命中深度学习的两大计算需求：矩阵乘法与卷积。

在训练侧，每一轮迭代都需在正向传播和反向传播中进行海量的矩阵‑向量运算。GPU通过单指令多线程（SIMT）模型，将数据并行、模型并行、流水线并行等策略映射到芯片上，使单次迭代时间从CPU的数小时压缩到分钟级。推理侧则通过整型量化、批处理、KV缓存等优化，在保持吞吐的同时控制延迟。

产业格局与关键变化

• 硬件：训练芯片基本被英伟达A100/H100/B200等数据中心GPU卡位，AMD MI300X系列占比攀升；推理场景有更多专用ASIC加入，但GPU凭借软件生态保持优势。
• 互联：单卡算力提升已遇到物理极限，千卡、万卡集群成为标配。NVLink、InfiniBand及PCIe构成GPU间通信骨干，连接拓扑决定训练效率的上限。
• 内存：高带宽内存（HBM）对GPU性能至关重要。其位宽和带宽直接影响大模型训练中每步数据的供给速度，容量则决定模型能否装入单个或少数GPU。
• 软件：CUDA生态是GPU在AI领域最大的护城河。PyTorch、TensorFlow等框架通过底层库cuDNN、cuBLAS将网络计算图高效编译为GPU指令。

15分钟专家深入

与深度学习负载的匹配

深度学习计算最核心的模式是大规模矩阵乘法（GEMM）和逐元素激活函数。这些运算具有“数据并行”特征：同一条指令施加到大量数据元素上，控制逻辑简单，运算密度极高。GPU架构通过以下方式释放算力：

• 多线程并行：一个流多处理器（SM）可管理数千个线程，线程束（warp）以32线程为一组同步执行。当某个warp在等待内存时，SM立刻切换到另一个warp，隐藏访存延迟。
• 张量核心（Tensor Core）：专门针对矩阵乘加运算的硬件单元，可在单周期内完成小矩阵的乘加运算。从Volta架构引入第一代至今，张量核心支持的数据精度逐步扩展，从FP16开始，后续Ampere架构引入TF32和BF16，再到FP8甚至FP4，适应不同阶段的训练与推理需求。
• 分级存储系统：寄存器（最快，每线程私有）→ 共享内存/L1（SM内共享）→ L2缓存（跨SM）→ HBM（片外，容量大）。通过精心设计数据搬运（如Tiling），使绝大多数所需数据存储在靠近计算单元的高速存储中。

典型大模型训练中的并行模式与GPU互联

当模型尺寸超过单卡显存或训练时间要求极高吞吐时，需要跨GPU协同。常见的三种并行方式：

• 数据并行：每张GPU持有一份完整模型副本，处理不同微批次数据；通过AllReduce聚合梯度。通信量随模型参数量线性增长。
• 张量并行：把单层内的矩阵乘法切分到多个GPU。例如，将权重矩阵按列或行切块，计算后通过AllReduce/ReduceScatter合并。典型框架Megatron‑LM的列并行输出需AllReduce，行并行需ReduceScatter。
• 流水线并行：将不同层分配到不同GPU，以微批次流水线方式执行，减少空闲气泡。通信发生在层边界，量级较小。
• 专家并行（MoE）：将不同的“专家”网络层分布式存储于各GPU，通过All‑to‑All通信将Token路由到对应专家所在GPU，计算后再All‑to‑All回传。All‑to‑All通信模式与密集模型的AllReduce有本质区别，这也是构建MoE集群时拓扑设计的重点。

万卡级集群不仅要考虑GPU‑GPU物理连接图形状（如无阻塞fat‑tree、龙伯格‑蜻蜓），还需合理调度各类并行对应的通信流，避免网络拥塞。这正是算力效率从50%提升到70%乃至80%的核心工程难题。

技术原理

GPU的宏观计算流水线（面向深度学习）

用简化的伪硬件流水线描述一个矩阵乘法如何被执行：

[ 主机CPU ] -- PCIe/NVLink --> [ HBM显存 ]
       |                                     |
       v                                     v
准备输入张量                        GPU 开始计算
                                  (1) 加载数据到 L2 cache
                                  (2) SM 读取数据到共享内存/寄存器
                                  (3) Tensor Core 执行矩阵乘加
                                  (4) 结果写回共享内存 -> L2 -> HBM

计算的核心发生在 流多处理器（SM） 内部。每个SM包含：

• 指令缓存和warp调度器
• 多个执行单元：CUDA核心（用于通用FP32/INT32）、Tensor Core（用于矩阵乘加）、特殊函数单元、加载/存储单元等。
• 寄存器文件（例如每SM 65536个32位寄存器）
• 共享内存/L1缓存（可配置大小，如最高164KB）

一个线程束（32线程）被调度到流多处理器（SM）上，若该指令是Tensor Core操作，则会一次性处理被划定的矩阵块。例如，对于某个精度配置，1个Tensor Core每周期可完成[未充分披露]个乘加运算，因此多个Tensor Core并行可贡献绝大部分理论算力。

内存子系统与带宽瓶颈

深度学习负载的瓶颈往往不在计算而在数据搬运。训练过程中，每进行一次浮点运算，都需要投入相应的数据读取。典型的算术强度（operations per byte）判断：

• 全连接层：权重需频繁重用，算术强度高，计算密集
• 层归一化、激活函数、Dropout等：数据重用低，对带宽敏感

因此GPU设计大量投入HBM。HBM由多个DRAM die堆叠，通过硅中介层与GPU die互连，实现每堆栈1024位以上的超宽接口。各代HBM演进提升速率和堆栈数，总带宽可达数TB/s。对于800亿参数级别的模型，仅存储优化器状态就需数百GB显存，这迫使业界将HBM容量推到96GB/卡甚至更高。

稀疏性加速

许多神经网络权重在训练后可以剪枝至高稀疏度，例如50%的权重为零。新一代GPU引入结构稀疏性支持：细粒度的2:4结构化模式，即每4个连续权重中恰好有2个为零（恰好2个非零值），硬件可将其跳过，近乎2倍加速矩阵乘法而无精度损失。这种设计进一步拉大了GPU与通用CPU在DL上的效率差距。

技术演进史

• 1999–2006 图形时代：GeForce 256首次冠名“GPU”，硬件固定功能流水线转向可编程着色器。
• 2006–2012 通用计算萌芽：CUDA发布，将GPU带入科学计算领域，研究者开始尝试用C语言操作GPU进行矩阵运算。
• 2012–2017 深度学习爆发：AlexNet在GPU上训练获胜，cuDNN等加速库出现，Volta架构带来第一代Tensor Core，大幅提升神经网络计算效率。
• 2018–2022 大模型军备竞赛：A100（Ampere架构）引入TF32、结构化稀疏等多精度特性；H100（Hopper）添加Transformer引擎，支持FP8动态管理，并强化多GPU间NVLink Switch互联。
• 2023–至今 万卡集群与AI工厂：B200等大算力芯片进一步突破单卡算力与HBM容量，同时采用先进封装（如CoWoS‑L）整合更大面积芯片，液冷、机架级设计将GPU池化为算力节点，走向“GPU即数据中心”的形态。

技术路线对比

注：准确的产品型号和规格数值因未获取具体官方数据，此处为定性归类，不编造具体算力数字。

上下游

上游

• 芯片设计与IP：GPU架构设计（英伟达、AMD、英特尔），IP授权（ARM Mali等）；关键电路IP如HBM PHY、PCIe控制器、SerDes等。
• 制程制造：先进制程晶圆代工（台积电、三星）；当前主流数据中心GPU采用[代次未披露] FinFET工艺节点，未来向GAA/Nanosheet转型。
• 封装与内存：CoWoS（Chip on Wafer on Substrate）等先进封装技术整合GPU die与HBM堆栈；HBM由SK海力士、三星、美光供应，二代/三代/三代E等代际持续迭代。
• 材料与设备：硅晶圆、光刻机、ABF载板（FC‑BGA）等，影响GPU产能和良率。

下游

• 云服务提供商：构建GPU集群出租算力实例（AWS、Azure、GCP、阿里云等）。
• AI实验室及企业：直接购买服务器/集群进行模型训练和推理（OpenAI、Meta、xAI等）。
• 边缘与嵌入式：自动驾驶（Orin、Thor等SoC内置GPU），机器人、智能摄像头等。
• 传统图形与可视化：游戏显卡、专业可视化（工业设计、影视特效）仍占出货量大头。
• 软件平台与工具链：深度学习框架、基础模型、MLOps工具等最终将GPU算力转化为服务。

关键指标

评估一块AI GPU的常见维度：

• 峰值算力（FLOPS）：FP16/BF16精度下的稀疏/密集算力；FP8/FP4算力对推理和训练影响越来越大；具体数字因架构而异，呈每两年二至三倍增长趋势。
• 显存容量与带宽：容量决定可装载的模型尺寸和训练批次；带宽（TB/s级）影响数据供给速度，与计算吞吐需匹配。
• 互联带宽：卡间点对点带宽（如NVLink）和网络接口带宽（如InfiniBand 400Gb/s或800Gb/s），制约横向扩展效率。
• 功耗与散热：单卡功耗从300W向700W甚至更高演进，液冷普及；能效比（TFLOPS/W）更受数据中心关注。
• 软件兼容性：CUDA版本支持、PyTorch/TensorRT/TRT‑LLM等就绪程度，实为部署时的一票否决因素。

供需与市场数据

（因搜索失败无法提供具体市场报告数字，以下为定性趋势概括）

• 市场规模：AI GPU市场近年呈爆炸性增长，2023–2024年全球出货金额达数百亿美元级别，年增长率超过50%以上（估算）。
• 供给：先进封装（CoWoS）产能一度成为最大瓶颈，台积电等持续扩产，始逐步缓解。上游HBM同样供不应求，交货周期长。
• 需求：由GPT‑4、Gemini、Llama等千亿、万亿参数模型训练拉动，叠加推理需求指数增长。云厂商采购数百亿美金级别GPU，部分用于内部训练，部分租赁。
• 买家集中度：需求高度集中在几家大型云服务商和AI实验室，导致供应话语权偏向英伟达等供应商；同时这些大买家也在大力投入自研芯片以分散风险。
• 区域分布：受出口管制影响，高性能GPU形成“许可区域”与“受限区域”的市场分层，引发非官方渠道溢价和算力缺口。

代表公司与资本映射

核心芯片厂商

• 英伟达（NVIDIA）：AI GPU 领域的主要供应商之一，数据中心业务在 2023-2024 年快速增长，毛利率需按最新财报口径核验。其 CUDA 生态构成重要软件壁垒。
• AMD（Advanced Micro Devices）：MI300 系列成为主要追赶者，凭借 CPU+GPU 融合架构和相对开放软件栈（ROCm），获得部分云厂商订单；市场估值变化需以交易所行情和财报验证，不在本文作方向性判断。
• 英特尔（Intel）：面向数据中心的GPU产品线（如Gaudi系列）主攻AI加速，但市场份额较低；在边缘和客户端GPU有所布局。

系统/集成商与云厂商

• 超微电脑（SMCI）、戴尔、HPE：构建基于GPU的服务器/机架解决方案，受益于AI基础设施投资浪潮。
• 亚马逊（AWS）、微软（Azure）、谷歌（GCP）：既大规模采购GPU，也推出自研AI芯片（Trainium、Maia、TPU），做纵向延伸，改变竞争格局。
• Meta、特斯拉：设计并部署自研AI推理/训练芯片，意在降低对外部GPU供应商的依赖。

上游供应链资本映射

• 台积电（TSMC）：几乎垄断AI GPU的先进制程和CoWoS封装，其资本支出和产能规划直接锚定GPU放量节奏。
• SK海力士、三星：HBM核心供应商，市场对其HBM3/3E市场份额争夺激烈，股价与AI GPU需求高度相关。
• 博通（Broadcom）：为谷歌等定制ASIC（TPU），并提供高速网络芯片，是数据中心GPU互联基础设施的重要参与者。

投资逻辑

1. 训练算力的非线性增长：模型规模每2~3年扩大10倍，算力需求增长远超摩尔定律。这支撑对最先进GPU的持续刚需，头部供应商享受量价齐升。
2. 推理市场的追赶爆发：当模型能力成熟后，部署推理的GPU/卡需求将超越训练。市场将从“峰值性能”导向逐渐向“性价比、低功耗”分化，为后发者提供窗口。
3. 供给瓶颈与份额转移：CoWoS、HBM等短期产能瓶颈加剧先行者优势，但随着产能释放和AMD/Intel产品成熟，英伟达市占率大概率从极高水平下滑，关注客户多元化进程。
4. 软件生态壁垒的风险：Pytorch、OpenAI Triton等正在降低对CUDA的绑定依赖；大型云厂商自研芯片的生态逐步完善，若突破临界点，可能削弱英伟达的溢价权。
5. 周期性风险：GPU投入的资本回报若未及时明朗，云厂商可能调整订单规模，引发需求波动。长期仍看好结构性增长，但短期存在库存调整可能。

常见误读纠偏

误读1：“GPU越多，训练越快，效率恒定”

事实：在分布式训练中，增加GPU数量的加速比并非线性。当并行规模达到数百数千时，通信开销、负载不均衡和数据流水线气泡将侵蚀提升空间。万卡集群的有效算力利用率（MFU）往往在50%~60%区间（根据公开论文估算），需通过拓扑优化、并行策略混合调优、重叠通信等技术竭力提升。

误读2：“推理只需推理专用ASIC，GPU没有优势”

事实：现代大模型推理高度依赖Transformer结构的访存和计算模式，这与GPU张量核心优化方向高度一致。且模型结构快速迭代（如MoE、长上下文、多模态），专用ASIC变更响应较慢。GPU的灵活性使其在推理市场仍占据主导地位，尤其是在多样化和快速变化的模型生态中。尽管专用推理芯片在特定负载下可能能效更优，但GPU通过软件优化（FP8、量化、FlashAttention等）保持强大竞争力。

学习路径

1. 入门：阅读《CUDA编程指南》前几章，理解线程层次和内存模型；用PyTorch训练一个神经网络，观察GPU利用率。
2. 架构理解：研究白皮书（如NVIDIA A100/H100架构白皮书），聚焦SM内部结构、Tensor Core运作，比较不同代际架构演进。
3. 分布训练动手：用PyTorch DDP训练小型模型，然后尝试Megatron‑LM张量并行、DeepSpeed流水线并行于2~8卡环境，体会通信原语。
4. 深入系统：学习NCCL集合通信原理、NVLink拓扑、InfiniBand路由；分析大规模训练日志，识别计算与通信瓶颈。
5. 前沿追踪：关注旗舰会议（NeurIPS、MLSys、HPCA、ISCA）有关GPU架构、训练系统和编译优化的最新论文，跟踪产业动态。

一句话总结

GPU是深度学习时代的“算力石油”，其大规模并行架构、专用张量计算单元和深厚的软件生态，定义了当前人工智能的物理基础，深刻影响着技术演进和产业权力格局。

延伸阅读与来源

• NVIDIA官方白皮书（NVIDIA A100 Tensor Core GPU Architecture, H100 Tensor Core GPU Architecture, NVIDIA B200 Whitepaper 等）
• 《深度学习》Ian Goodfellow 等，第12章“Application: Deep Learning”涉及GPU计算
• 论文：Megatron‑LM, DeepSpeed ZeRO, GShard（MoE并行）—— 展示GPU集群上模型并行策略
• GPU技术大会（GTC）主题演讲与资料（每年解锁关键技术细节）
• 行业分析报告（Mercury Research, Jon Peddie Research, 券商报告）提供市场份额与出货量估计
• 芯片行业媒体AnandTech, ServeTheHome, SemiAnalysis 对GPU架构和供需的深度分析
• 由于本次搜索未获取具体数据，文中涉及市场数字、精确频率/带宽/算力等均为基于行业公开认知的定性描述，具体最新数据请查阅各公司财报及官方规格表。