Transformer 加速器

3 秒看懂

Transformer 加速器是专为执行 Transformer 类模型（包含自注意力、层归一化、前馈网络等算子）而设计的计算芯片或系统，通过定制的数据流、存储层次和算子融合，在训练与推理中实现数倍于通用 GPU 的能效和吞吐。

3 分钟产业解释

Transformer 已成为主流 AI 模型的基石（GPT、BERT、ViT、扩散模型中的去噪网络等），但其大量矩阵乘法和动态的 Attention 模式对传统 GPU 构成挑战——访存带宽、长尾延迟和低硬件利用率导致实际效率远低于峰值算力。Transformer 加速器通过三种路径提升效率：

• 专注数据复用：利用脉动阵列或数据流架构减少频繁的片外访存。
• 支持算子融合：在硬件层面将注意力计算中的多个步骤合并，避免中间张量写回显存。
• 支持稀疏性/混合精度：匹配 Transformer 特有的激活稀疏性和低精度整数量化，提高能效比。

代表产品包括英伟达的 Hopper/Blackwell GPU（本身内置 Transformer Engine）、谷歌 TPU 系列、Graphcore IPU、Cerebras WSE 晶圆级引擎、Groq LPU（语言处理单元）、特斯拉 Dojo D1 芯片、AMD MI300X 以及初创公司 d-Matrix 的推理加速卡。产业正处于从“GPU 包打天下”到“推理专用、训练复合”的架构分化期。

15 分钟专家深入

Transformer 负载的特性使加速器设计面临三重矛盾：计算密度极高但算子形状多变、KV Cache 大小随序列长度线性增长、自回归解码时每步仅生成一个 token 导致极低的计算强度。加速器架构的解耦思路包括：

1. 训练加速：将通信、张量/流水线/序列并行原语硬化到互联网络中（如 NVLink + NVSwitch），支持大型 MoE 路由和 All-to-All 通信。
2. 推理加速：重点优化访存路径——将 KV Cache 保存在近存计算单元内（如 HBM 堆栈旁放置 ALU），并针对分页注意力、连续批处理、投机采样做软硬件协同设计。
3. 微架构创新：
   • 脉动阵列扩展（如 TPU）：尺寸远大于 GPU Tensor Core，直接执行注意力的大矩阵乘。
   • 可重构数据流（如 Groq TSP）：将整个 Transformer 计算图编译为静态流水线，片内 SRAM 替代缓存，消除所有 L1/L2 miss，确定性延迟。
   • 近存计算（如 Samsung HBM-PIM、SK hynix AiM）：在 DRAM bank 内部集成 FP16 乘加单元，用于注意力分数计算，大幅减少数据搬运。
   • 稀疏引擎：硬件跳过 Softmax 后趋近于零的被 mask 元素，在 MoE 路由中仅激活部分专家。
4. 存储体系重构：超大片上 SRAM（Cerebras WSE-2 拥有 40GB 片上 SRAM）使整个小模型常驻晶圆，省去 HBM；或利用 HBM3（~819GB/s 单堆栈[据厂商数据]）与计算 Die 3D 堆叠。

训练场景仍由英伟达主导，而推理场景细分严重：云端大模型推理（8K+ 上下文）偏好大内存容量和高带宽（如 H200 的 141GB HBM3e），边缘侧则倾向于 INT4/INT8 稀疏加速器和超低功耗设计。未来趋势是“软硬一体”——编译器自动将 Transformer 图映射到加速器指令集，减少手工算子库开发。

技术原理（最深）

Transformer 的核心计算图可抽象为交替出现的密集矩阵乘和内存密集型操作。以典型的 Decoder 层为例（GPT 风格），涉及：

• Q/K/V 投影：3 个 GEMM
• 注意力分数计算：QKᵀ → Scale + Mask + Softmax → 与 V 相乘（Batch MatMul）
• 前馈网络：两个 GEMM（升维 + 降维），中间含 GELU 等激活
• 残差连接与层归一化

加速器映射原理
传统 GPU 将各算子独立内核执行，每个内核结束后将中间结果写回 HBM，下个内核再读出，造成大量内存带宽浪费。Transformer 加速器通过算子融合消除这种“内核间访存”。例如，将 QKᵀ + Scale + Mask + Softmax 合并为一个硬件流水阶段，中间结果仅在本地寄存器或片上 SRAM 中流动。

以下为一种典型的数据流加速器（Groq 架构）的简化流水线示意：

[Input Tokens] → SRAM
   ↓
[QKV Projection]   == 大矩阵乘单元（脉动阵列）==
   ↓             (Q,K,V 并行流出，保持寄存器)
[Attention Score]  == 专门硬件：Q·Kᵀ，逐元素 Scale+Mask
   ↓             (产生 Score 矩阵)
[Softmax]          == 查找表/指数单元流水线
   ↓             (注意力权重)
[Output]           == 权重·V 乘法 + 输出投影
   ↓
[FFN GEMM 1] → [激活] → [FFN GEMM 2]
   ↓
[Residual Add + LayerNorm]  → 下一层

在这个流水线中，每个 token 穿行所有阶段，无外部内存访问（理想情况），吞吐仅受最慢阶段限制，延迟是完全确定的。这要求加速器编译器在编译时对整个模型做静态调度，完全剔除动态分支。

关键参数（说明而非具体数值）

• 计算单元：典型采用 FP8/FP16/INT8 的混合精度，内部累加使用 FP32。BF16 常用于减少溢出风险。
• 片上存储容量：决定能容纳的模型层/批量大小。对于推理，常驻 KV Cache 的片上存储决定了可支持的最大上下文长度。
• 外部内存带宽：HBM 的总带宽是限制大矩阵乘拆分的瓶颈，加速器倾向于尽量减少 HBM 往返。
• 互联带宽：针对分散-集中式通信（如 MoE All-to-All），加速器间的专用互联需提供高对分带宽和低时延。

量化稀疏机制
Attention 的 Softmax 输出有大量接近零的值，可通过硬件掩码直接跳过对应乘法。同时，Transformer 对激活的量化敏感：层归一化的动态范围变化大，加速器常在归一化后插入专门的动态量化校准单元，实时调整量化系数，而非采用静态量化方案。

技术演进史

• 2017 年以前：加速器以 DSP 和 GPU 为主，未专门针对 Transformers。
• 2017–2018：谷歌发布 TPUv3，其大规模脉动阵列对 Transformer 训练友好。英伟达推出 Tensor Core，支持 FP16 矩阵乘。
• 2020：Graphcore 第二代 IPU 强调稀疏计算和细粒度并行，开始针对 Transformer 推理做出优化。
• 2021：Cerebras 使用晶圆级引擎 WSE-2 训练 GPT-3 尺寸模型，通过权重流（weight streaming）节省片外访存，展现 Transformer 数据流特性。
• 2022：Groq 推出 TSP LPU，将 Transformer 编译为确定性流水线，实现极高推理吞吐和极低延迟，引发业界对数据流加速器的关注。英伟达 H100 集成 Transformer Engine，混合 FP8 精度和自动重缩放，成为事实上的训练标准。
• 2023：存储器厂商推出 HBM-PIM 原形，在内存 bank 内计算注意力分数，减少数据移动。d-Matrix 等创业公司发布基于数字存内计算（D-IMC）的 Transformer 推理加速方案。
• 2024：超大规模云厂商自研芯片（如亚马逊 Trainium2、微软 Maia 100）纷纷增加对 Transformer 原语的支持，竞争焦点从峰值 FLOPS 转向“每美元每 token”综合成本。

技术路线对比（量化表）

下表对比几种 Transformer 加速器设计路线，由于各厂商未披露全部细节，仅基于公开白皮书和行业报告[@公开资料，如各公司官网]定性说明设计倾向。

注：表内数据皆为公开信息定性归纳，无精确规格。

上下游

• 上游

  • 芯片 IP 和 EDA：Synopsys、Cadence 提供 HBM 控制器、存内计算设计套件。
  • 制造工艺：台积电 N4/N3（FinFET）和三星/英特尔先进制程。
  • 存储颗粒：三星、SK 海力士、美光的 HBM3/3E，以及带 PIM 功能的定制 DRAM。
  • 先进封装：台积电 CoWoS-S/L/R、英伟达基板互联桥，Intel EMIB。
  • 硅光互联（未来）：Ayar Labs 等为晶圆级加速器提供光 I/O。

• 下游

  • 云服务提供商：AWS、Azure、Google Cloud 部署自研或第三方加速器为 AI 训练/推理实例。
  • AI 平台与框架：PyTorch、TensorFlow、JAX 需要提供加速器后端（XLA、Triton 等）。
  • 大模型厂商：OpenAI、Anthropic、Meta 等在训练和推理中对加速器进行标准化调优。
  • 边缘 AI 设备：自动驾驶、智能手机的 Transformer 推理需要超低功耗加速 IP（如 ARM Ethos、高通 Hexagon）。

关键指标

由于本文无法获得实时规格，以下列出评估 Transformer 加速器时关注的指标，并标注 [据厂商财报/白皮书估算] 或 [未充分披露]：

• 模型 FLOPS 利用率：实际 MFU，对于 Transformer 训练，30 %‑50 % 已算优秀（[公开论文估算]）。推理 MFU 常更低。
• 每 token 延迟与功耗：尤其在自回归解码时。Groq LPU 宣称单 token 延迟远低于 1 ms（[据公开宣传]）。
• 内存带宽与容量：HBM 栈带宽每堆栈从 HBM2e 的 ~460 GB/s 到 HBM3e 的 >1 TB/s（[据 JEDEC 及厂商]），但不同加速器配置数不同。
• KV Cache 容量：对可处理上下文长度的影响。部分加速卡以专用 cache 扩展电路支持（如 H200 的 141 GB HBM3e）。
• 稀疏加速比：从 2:4 结构稀疏可获得 1.5×‑2× 性能提升（[英伟达公开资料]）。
• 扩展效率：从单卡到千卡集群的训练吞吐线性度，英伟达 NVLink 和 InfiniBand 可达到 >90 %（[据报告]）。
• 每 TCO 下 token 数：推理成本关键，涉及功耗、价格、耐久和软件许可证。

由于搜索失败，以上数据点的具体数值均未提供最新或精确的实时数字，建议读者查阅最新 SPEC 或采购指南。

供需与市场数据

多家分析机构和行业媒体通常将 AI 加速器市场描述为高速增长、且由英伟达 GPU 生态主导的赛道；但本页未锁定可复核的原始报告页码，因此不写具体市场收入、厂商占比或推理/训练占比预测。Transformer 加速器需求由训练和推理双轮驱动：训练方面，大规模 H100 集群已投产，功耗和组网成本带来新需求；推理方面，ChatGPT 式的规模化部署正推动推理加速器出货量增长，具体占比变化需以后续第三方报告或公司披露复核。
此外，云厂商自研（谷歌 TPU、亚马逊 Trainium/Inferentia）的份额快速提升，说明集成商将加速器作为差异化竞争力。贸易限制加速了中国本土 Transformer 加速器（如华为昇腾、寒武纪、壁仞科技）的研发与采用，但先进制程产能受限成为瓶颈。

代表公司与资本映射

• 英伟达：产品线覆盖 H100/H200/B200，内置 Transformer Engine，生态最完善，市值突破 2.5 万亿美元（[2024 市场]）。
• 谷歌：TPU v5p 专为 Transformer 优化，不对外销售，通过 Google Cloud 提供，资本开支庞大。
• Groq：数据流加速器初创公司，2023 年融资 3 亿美元，估值约 10 亿美元以上（[媒体报道]）。
• d-Matrix：存内计算推理加速器，获微软和三星投资，专注于大语言模型推理。
• Cerebras：CS-3 系统基于 WSE-3 晶圆级引擎，与 G42 等合作搭建超算，估值约 40 亿美元（[私募阶段]）。
• Graphcore：IPU Bow 已出货，但面临财务挑战，寻求收购。
• 特斯拉：Dojo D1 芯片自研，用于自动驾驶的 Transformer 训练，量产规模未公开。
• AMD：MI300X 集成 153 GB HBM3e，ROCm 软件栈追赶中。
• 中国厂商：华为昇腾 910B、寒武纪思元 590、燧原云燧 T20 等，均支持 Transformer 训练/推理，受制于制程。

资本映射显示，GPU 赛道估值顶天，而推理专用芯片初创公司多在 B 轮至 C 轮估值 5‑20 亿美元之间，退出途径被大型科技公司收购为主。

投资逻辑

1. 推理市场半壁江山：随着 AI 应用落地，推理需求将超过训练，低功耗、低成本的 Transformer 推理加速器存在百亿美元级别机会。
2. 软件和生态壁垒：英伟达 CUDA 生态几乎不可替代，但 PyTorch 2.0 和 OpenAI Triton 等开源编译器试图打破锁定，投资者需关注中间层软件栈的成熟度。
3. 存内/近存计算是亮点：解决内存墙，降低系统功耗，适合端侧和边缘推理。
4. 巨头的自研趋势：如果亚马逊、谷歌、微软全部自研加速器，第三方芯片厂商的空间可能被挤压，但可能催生硅光互联、专用封装等上游环节机会。
5. 地缘政治因素：对华禁运导致中国本土化加速器需求强劲，但先进制程产能限制其性能提升，投资需评估设计能力和量产进度。
6. 模型在变，硬件需灵活：架构若过度适应当前 Transformer，当下一波模型像状态空间模型 (Mamba) 等流行时，固定函数单元恐变成死硅，需关注可编程性。

常见误读纠偏

• 误读：“Transformer 加速器可以完全替代 GPU。”
  纠偏：大多数加速器仅擅长 Transformer 类或特定计算图；对于数据预处理、可视化、推荐系统中的嵌入表 lookup 等非 Transformer 工作，GPU 依然通用。且主流 AI 工作流仍离不开 CUDA 生态。加速器更多是作为异构计算的一部分。

• 误读：“推理不需要大算力，只需小芯片。”
  纠偏：大模型推理的内存瓶颈和低计算强度使得缓存、带宽和互联比峰值 FLOPS 重要。但是长上下文、多用户连续批处理和投机解码仍消耗大量浮点算力，需要专门的乘加单元，而非简单微控制器。合理的推理加速器往往匹配高带宽存储和中等算力，并非“小”。

• 误读：“所有加速器都使用 3D 堆叠和 CoWoS。”
  纠偏：仅高端训练和云端推理芯片采用先进封装；许多边缘 Transformer 加速器用 2.5D 甚至传统封装，以降低成本。

学习路径

1. 基础：《Transformer 论文精读》（Attention is All You Need）；陈天奇《机器学习编译》。
2. 架构：Yin 等 “分析 Transformer 瓶颈和加速器设计原则”（MICRO 2021）；Groq TSP 白皮书（官网下载）。
3. 实作：使用 OpenAI Triton 编写融合 Attention kernel，理解计算与内存交换。
4. 工业报告：英伟达 H100 白皮书、谷歌 TPU v4 论文；TechInsights 的芯片分析报告。
5. 社区：跟随 SemiAnalysis、Chips & Cheese 深度评测；Rivos 或 Tenstorrent 的公开演讲。

一句话总结

Transformer 加速器正从“高性能计算副产品”演进为“数据流与存储驱动的专用单元”，其核心在于打破内存墙，对 Attention 和 FFN 做极致的流水线与融合，成为大模型时代的基础设施基石。

延伸阅读与来源

• 英伟达官网：H100 Tensor Core GPU 架构白皮书。
• Groq 官网：TSP Architecture Whitepaper。
• Cerebras 官网：Wafer-Scale Engine 架构。
• d‑Matrix 官网：Digital In‑Memory Compute for Gen AI。
• SemiAnalysis 对各类加速器的深度拆解与性能模型。
• “谷歌 TPUv4 论文：强扩展训练与推理”，MLSys 2023。
• 本文部分定性评判源自公开行业报告及媒体披露，由于搜索失败未能实时引用最新链接，建议读者访问各公司官方开发者页面查阅最新信息。