AI 加速器

3 秒看懂

AI 加速器是专为人工智能计算(尤其是矩阵运算)深度优化的专用硬件处理器。它能以远超通用 CPU 的能效比完成大模型训练与推理任务，是生成式 AI 时代的物理算力底座。

3 分钟产业解释

传统 CPU 受限于冯·诺依曼架构的“存储墙”与低并行度，处理 Transformer 等模型上亿次矩阵乘法时，大量时间与能耗浪费在数据搬移而非计算上。AI 加速器通过三项核心设计打破瓶颈：

① 大规模并行计算阵列：如脉动阵列与张量核心，在一个时钟周期内完成数千至数十万次乘加运算(MAC)，实现运算密度数量级跃升。

② 高带宽近存计算内存：以 HBM(高带宽存储器)为代表，将 DRAM 堆叠在计算芯片旁并通过硅中介层直连，提供 TB/s 级访存带宽，大幅压低数据移动延迟与功耗。

③ 低精度数值格式：广泛采用 FP16/BF16/INT8/FP8 等低精度数据格式，在保持模型精度的前提下实现吞吐量成倍提升。

当前主流加速器形态呈多元分化：GPU(通用图形处理器叠加张量核心，生态最完善)、ASIC(全定制，如 Google TPU 系列、Amazon Trainium 系列)、FPGA(可编程门阵列，面向低延迟低功耗推理)以及NPU(嵌入式神经网络处理器，广泛部署于手机、汽车等端侧设备)。产业核心驱动力来自三个方向：大模型参数规模持续指数增长、云厂商自研降本带来的第二供应源需求，以及边缘侧实时推理对能效比的极致要求。

技术原理

从矩阵乘法到脉动阵列

深度学习的核心运算是通用矩阵乘：C = α × A × B + β × C。通用 CPU 通过多级缓存和 SIMD 向量化优化此类运算，但面对 GPT 类模型动辄上万维的矩阵仍力不从心。AI 加速器的根本解法是脉动阵列，一种由大量处理单元(PE)构成的二维网格，数据像波浪般流过阵列，每个 PE 完成乘累加后将部分和传递给相邻单元，整体以极高吞吐完成矩阵运算。

 权重固定(Weight Stationary) 数据流示意:
        W[0,0]   W[0,1]   ...
        ┌───▼──┐ ┌───▼──┐
  A[0]►│PE00  │►│PE01  │► ...  → 部分和向下传递
        └──┬───┘ └──┬───┘
  A[1]►│PE10  │►│PE11  │► ...
        └──┬───┘ └──┬───┘
           ▼         ▼
        部分和累加后输出

权重预制在 PE 内，输入激活自左向右流动，部分和从上向下流动并累加。一个 N×N 脉动阵列每时钟周期完成 N² 次乘加运算，与通用处理器的单指令标量乘法相比，能效比呈数量级优势。

计算密度与内存带宽的博弈

AI 加速器设计始终围绕一条基本不等式：
所需算力 ≤ 可用内存带宽 × 计算密度
其中计算密度指从内存读取 1 字节数据平均可完成的浮点运算次数。矩阵乘的计算密度与矩阵维度成正比。若计算密度过低，PE 阵列将频繁空转等待数据，实际利用率急剧恶化。分块尺寸的选取本质是在计算密度与片上 SRAM 容量间做折衷。

混合精度训练与 FP8

以 BF16 混合精度训练为例：前向传播以 BF16 存储权重与激活以减半访存量，反向传播梯度仍以 FP32 累加保证更新精度，同时维护一份 FP32 主权重拷贝。FP8 进一步采用 E4M3/E5M2 两种格式组合：前向使用 E4M3 追求更高精度，反向使用 E5M2 获取更大动态范围，要求加速器内集成精细的转换与缩放硬件逻辑。

稀疏流水线

结构化稀疏(如 2:4 结构)要求权重矩阵每 4 个连续值中至少存在 2 个零。加速器通过稀疏索引、非零元素拣选单元及负载均衡调度，在内存读取阶段即过滤零值，节省显存带宽并成倍提升有效吞吐。非结构化稀疏因零值分布任意，更依赖专用稀疏矩阵乘法引擎，通用加速效果远低于结构化稀疏的标称倍数。

片间互联与扩展域

万亿参数大模型无法装入单卡，必须通过域内高速互联(如 NVLink、Infinity Fabric)把 8–256 张加速卡构成高带宽域，再通过 InfiniBand/RoCE 等跨节点互联实现扩展。张量并行在卡间进行 AllReduce 或 ReduceScatter 集合通信，通信带宽需与算力严格匹配以规避“通信墙”。部分架构将网络交换机与计算单元紧耦合，使计算与集合通信流水重叠以隐藏延迟。

技术演进史

• 2006–2012，通用 GPU 时代：NVIDIA 推出 CUDA 平台使开发者能以类 C 语言调度 GPU 众核进行大规模并行计算。2012 年，AlexNet 使用 GTX 580 训练并以压倒性优势赢得 ImageNet 竞赛，标志着 GPU 成为深度学习默认加速工具。

• 2015，专用 ASIC 破茧：Google 发布第一代 TPU，专为推理设计，采用 INT8 脉动阵列，能效比远超同期 GPU。后续 TPUv2/v3 引入 HBM 及训练能力，并率先支持 BF16 格式。

• 2017–2020，张量核心普及：NVIDIA Volta 架构引入第一代张量核心，提供 FP16 矩阵乘累加硬件指令；Ampere 架构进一步支持 BF16/TF32/结构稀疏。同期 AMD 推出 CDNA 架构，英特尔 Habana Gaudi 系列入局。

• 2021–至今，异构集成与系统级竞争：Chiplet 异构集成、先进封装(如台积电 CoWoS)成为竞争焦点。NVIDIA 从单 GPU 走向 Grace-Hopper Superchip 及整机柜级 DGX/B200 系统。微软、亚马逊、特斯拉相继推出自研训练/推理芯片，AI 加速器从“显卡”演变至涵盖芯片、互联、软件的全栈系统。

关键参数

• 精度与算力：BF16/FP16/FP8 TFLOPS(训练)，INT8/FP8 TOPS(推理)。厂商宣传的“稀疏算力”通常针对 2:4 结构化稀疏场景，需对标同精度稠密算力做比较。
• 内存带宽与容量：HBM 带宽(TB/s)决定大 batch、长序列推理吞吐上限；容量(GB)决定单卡可容纳的模型参数量与批尺寸。
• 片间互联带宽：单域内(如 NVLink Switch) GPU 间双向总带宽，直接影响张量并行的扩展效率。
• 能效比：FLOPS/W(每瓦浮点算力)，是数据中心 TCO(总拥有成本)的核心影响因子。
• 首字延迟：推理场景中从请求到首字输出的延时，与批处理大小、流水线级数强相关，对对话式 AI 等交互场景至关重要。
• 软件栈成熟度：框架支持范围(PyTorch/TensorFlow/JAX)、算子覆盖率、编译器优化水平，决定实际部署效率。

技术路线

上表为定性相对位置。同代产品在模型结构、精度设定及 batch size 等变量下的实际表现差异显著，准确数字需查阅第三方独立评测(如 MLCommons MLPerf 结果)。

上游

• EDA 与 IP：Cadence、Synopsys 提供先进制程设计工具；Arm 提供 Neoverse 等高性能接口 IP 核。截至 2025 年 7 月，公开资料未显示 EDA 工具在 AI 加速器细分市场的独立营收口径。
• 先进制程制造：台积电、三星的先进制程(高性能计算节点)是 AI 加速器的工艺底座。据 TrendForce 2024 年第四季度报告，台积电在 AI 加速器相关先进制程(7nm 及以下)的全球代工份额估计超过 90%[行业估算]。
• 先进封装：台积电 CoWoS、InFO 等 2.5D/3D 封装是 HBM 与计算芯片集成的主流路径。台积电 2024 年全年 CoWoS 总产能较上年增长超 100%[公司财报与行业估算]，但截至 2025 年上半年高端 CoWoS 产能仍供不应求。
• HBM 存储器：三星、SK 海力士、美光三足鼎立。TrendForce 2024 年第四季度数据显示：SK 海力士占据 HBM 市场约 53% 份额，三星约 35%，美光约 12%[行业估算]。HBM 堆叠层数与量产良率直接影响 AI 加速卡的交付能力与整卡成本。

下游

• 云计算厂商：微软 Azure、AWS、GCP、Oracle 是高端加速器最大批量采购方。根据各公司 2024 年第四季度财报口径，四家云厂商 2025 年合计计划 CAPEX 指引超过 2400 亿美元，其中相当比例指向 AI 基础设施[公司财报及公开指引]。
• AI 原生企业：OpenAI、Anthropic、Meta 等大模型领先者是高端训练集群的核心最终用户，部分企业同时自研推理芯片以优化长期 TCO。
• 企业级 AI 部署：金融、医疗、自动驾驶等领域，以推理服务器与边缘盒子为主要形态。公开资料未见 2024–2025 年该细分市场在中国区的单独立项数据。
• 端侧设备：智能手机(SoC 集成 NPU)、智能摄像头、ADAS 域控制器对功耗与成本极度敏感，形成独立的端侧加速器需求闭环。

受益公司

• NVIDIA：AI 加速器主导厂商，Hopper 架构及后继 Blackwell 产品线在训练市场占据绝对领先份额。CUDA 生态构成的软件迁移壁垒是核心护城河。
• AMD：Instinct MI300X 系列采用 Chiplet 架构集成 CPU 与 GPU，ROCm 生态在 PyTorch 框架支持上显著改善，近期获多家云厂商采纳为第二供应源。
• Intel：Habana Gaudi 系列主打高能效与集成以太网互联；Falcon Shores 推进 XPU 融合战略。截至 2025 年 7 月 AI 加速器市场份额仍较小。
• 自研 ASIC 云厂商：Google TPU 系列通过 GCP 对外提供算力；Amazon 推出 Trainium2 与 Inferentia 绑定 AWS；微软 Maia 100 逐步部署。这些自研芯片拉动博通、Marvell 等定制化 ASIC 设计服务需求。
• 博通与 Marvell：受益于云厂商 ASIC 定制趋势，提供高速 SerDes、芯片互联 IP 及后端设计服务。博通 2024 财年 AI 相关收入约占总收入 15%–20%[公司财报与公开报道]。
• 先进封装与测试：台积电先进封装、日月光、安靠等封测龙头，以及为 CoWoS 提供中介层检测等服务的设备厂商，受益于硅中介层及先进封装产能扩张。产能数据已在“上游”部分列示。
• 中国本土产业链：华为昇腾系列已形成训练推理全栈能力，受益于地缘格局变化下本土替代预期，但在先进制程和软件生态方面与前沿梯队仍存在公开可查的差距(见“风险”部分的出口管制细目)。

市场规模

• 据第三方市场研究机构 IDC 2025 年第一季度估算，全球 AI 加速器(含 GPU、ASIC、FPGA)2024 年总市场规模约 1150 亿美元，同比增长约 55%[行业估算]。预计 2028 年市场总值可能达到 2800–3000 亿美元的范围，对应五年复合年增长率约 20%–25%[行业估算]。
• 训练与推理的份额结构正在变迁：NVIDIA 首席执行官黄仁勋在 2024 年第四季度财报电话会议中表示，公司当季推理相关营收约占数据中心收入的 40%[公司财报与公开电话会议], 反映推理需求占比显著上升。
• 据 TrendForce 2025 年第一季度报告，中国本土 AI 加速器市场规模(不含经由第三方的受限渠道)在 2024 年约 110 亿美元，受益于国产替代政策推动[行业估算]。

风险

• 供给瓶颈风险：高端 CoWoS 封装与 HBM3E 良率不足可能导致主力产品交付周期延长，先进制程产能集中于少数供应商的格局在 2027 年前难以根本改变。
• 出口管制风险：美国商务部工业安全局(BIS)于 2023 年 10 月及后续多次更新对华先进半导体出口管制规则，直接限制中国获取高性能 AI 加速器及核心制造技术的渠道，同时推动本土替代产业链的加速重整。
• 技术路线不确定性：ASIC、Chiplet、存内计算、光学互联等多种技术路线并行演进，特定架构可能因工艺或生态制约被边缘化，长期锁仓单一技术路径存在风险。
• 库存与 CAPEX 周期风险：云厂商 AI 领域 CAPEX 若出现节奏性放缓或阶段性产能集中释放，可能导致中低端加速器出现暂时性过剩，影响相关厂商盈利。
• 软件栈碎片化：多个自研 ASIC 的软件栈与 CUDA 生态不兼容，开发者迁移意愿与生产力是中长期面临的共同风险。开源框架(如 Triton 语言、PyTorch 2.x)的进展对竞争格局有较大影响。

常见误读纠偏

• “AI 加速器就是 GPU”：错误。GPU 只是目前最流行的形态，Google TPU、Amazon Trainium 等 ASIC 同样广泛用于训练与推理，端侧 NPU 的架构与 GPU 完全不同。
• “标称 TOPS 越高，实际推理越快”：实际性能更大程度上受内存带宽、编译器利用率及模型计算密度约束。大量标称 TOPS 在真实推理负载中利用率不足 30%，延迟与吞吐可能不如带宽更优的竞品。
• “训练与推理可无差别共用同一款加速器”：虽可共用，但效率折损显著。训练侧重高精度(FP16/BF16)与高显存容量，推理侧重低精度(INT8/FP8)与低延迟，专门推理芯片可实现数倍能效优势。
• “稀疏化能直接翻倍实际算力”：仅当模型经专门稀疏预训练且硬件支持相应指令时才成立。直接对预训练稠密模型做结构化剪枝通常伴随明显精度损失，非结构化稀疏的通用硬件加速效果远低于理论值。

最新事件

• NVIDIA Blackwell 平台发布与量产：2025 年 GTC 大会上，NVIDIA 公布 Blackwell Ultra 系列细节，并通过整机柜级 NVLink Switch 实现 576 GPU 全互联。B200/B100 系列在 2025 年第二季度进入大规模出货[公司公开信息]。
• AMD MI400 路线图更新：AMD 在 2025 年 Computex 上预告 MI400 系列将采用 3nm 工艺与新一代 CDNA 架构，计划 2026 年下半年量产[公开报道]。
• 微软 Maia 与谷歌 TPU 进展：2025 年 5 月，微软宣布 Maia 100 已在 Azure 部分区域上线用于 GPT 类模型推理；谷歌发布 TPU v6 路线图并在 2025 年 I/O 大会中披露初步规格[公司公开信息]。
• 中国大陆加速器进展：2025 年上半年，华为昇腾 910C 在国内大客户中进入规模部署阶段，但公开资料未披露出货量的独立可核验数据；美国 BIS 于 2025 年 4 月进一步细化对华芯片出口管控细则[行业公开信息]。

跟踪指标

• 季度出货量与营收：NVIDIA、AMD 数据中心 GPU 的季度营收、单位出货量及 ASP 变动趋势(源自两家公司定期财报)。
• 云厂商 CAPEX 与自研比例：微软、AWS、GCP、Meta 季度 CAPEX 明细及自研加速器的部署份额公开信息(公司财报与电话会议)。
• MLPerf 基准测试结果：MLCommons 组织的训练与推理评测，提供跨厂商、跨框架的标准化性能与能效对比(MLPerf 官方结果列表)。
• HBM 与先进封装产能：SK 海力士、三星、台积电的扩产指引和产能利用率数据(TrendForce、Digitimes 研报)。
• 出口管制政策更新：美国 BIS 及盟国对先进半导体和制造工具的出口管制公告，直接改变中国市场的供给结构与价格体系。
• 开源框架适配进度：PyTorch、JAX、Triton 语言等对非 NVIDIA 加速器的原生支持进展，是抑制或助推软件栈碎片化风险的先行指标。

信源

本页内容综合自以下公开信息源，关键口径与年份已在正文逐条标注：

1. NVIDIA 季度财报与 GTC 公开材料(2023–2025)，AMD 及英特尔财报与架构发布资料。
2. Google Cloud TPU 系统架构文档，微软、Amazon 自研芯片公开博客。
3. MLCommons MLPerf Training/Inference 基准测试结果(2023–2025)。
4. TrendForce、IDC、Counterpoint 等第三方研究机构关于 AI 加速器、HBM 及先进封装的行业报告。
5. 美国商务部工业安全局(BIS)出口管制相关公告(2023–2025)。
6. 学术文献：Google TPUv1(ISCA 2017)、TPUv4(MLSys 2023)及 NVIDIA 架构白皮书。

注意事项：部分规模与份额数字源自行业估算，标注为[行业估算]以区别于公司财报的确定性数据；本页不构成任何投资建议，具体决策需参考原始公告及独立第三方评估。