AI ASIC

3 秒看懂

AI ASIC（Application‑Specific Integrated Circuit，AI 专用集成电路）是为 AI 训练/推理定制的芯片，核心逻辑是“砍掉图形、视频等通用单元，用专用脉动阵列和高带宽内存换能效”。与同代旗舰 GPU 相比，典型 AI ASIC 在 Transformer 类模型上的每瓦吞吐量（TFLOPS/W）可高出 1.5 倍以上，代表产品包括 Google TPU v5p/v5e、AWS Trainium2/Inferentia2、微软 Maia 100、Meta MTIA v2 及字节跳动等自研芯片。

3 分钟产业解释

大模型时代算力需求指数攀升，单卡功耗突破 700 W，云厂商（Hyperscalers）每年采购百万张级加速卡，对总拥有成本（TCO）、软硬件一体化、部署密度极度敏感，因此沿着“购买 GPU → 自研 ASIC”的路径，定制专属于自己的 AI 芯片。

产业链分工清晰：

• 需求方与架构定义：谷歌、亚马逊、微软、Meta、字节等负责芯片规格、上层编译栈和分布式框架；
• 设计服务与后端实现：博通（深度参与 Google TPU、Meta MTIA 等）、Marvell（AWS Trainium/Inferentia）、世芯电子、创意电子等提供物理设计、IP 集成、量产管理；
• 制造与封装：台积电 7 nm~3 nm 工艺与 CoWoS 先进封装绝对主导，SK 海力士、三星、美光供应 HBM；
• 软件生态：自研编译器（XLA、Triton 分支等）、运行时与集合通信库，对接到 PyTorch/JAX 等框架。

AI ASIC 正将高端 AI 芯片从“英伟达定义硬件、全行业适配”的单极格局，拓展为一超多强的竞争局面。博通管理层在 2024 年 12 月公开电话会上指出，其三大超大规模客户到 2027 年的 AI ASIC 可服务市场（SAM）预计为 600–900 亿美元（口径：三大客户自研芯片的芯片总投入，包括设计、制造、封装等成本；来源：Broadcom Inc. Q4 FY2024 Earnings Call, Dec 2024）。

技术原理

核心计算引擎：脉动阵列

脉动阵列（Systolic Array）是矩阵乘法的硬件实现范式，数据以“心跳”节奏在二维处理单元（PE）阵列中流动，每个 PE 执行乘加：acc += A_ik * B_kj。Google TPU v4 内置 128×128 的 MXU（矩阵乘累加单元），每个周期可完成 16,384 次 BF16 乘加（等效 32,768 次浮点运算），v5p 进一步放大计算规模。

   ┌───────────────────────────┐
   │   b0,0  b0,1  b0,2  ...    │  ← B 矩阵列流入
   │   a1,0  PE00──PE01──PE02   │
   │   a2,0   │     │     │     │
   │   ...   PE10──PE11──PE12   │
   └─────────┴─────┴─────┴──────┘
   A 行横向移动，B 列纵向移动，
   每个 PE 本地累积结果。

相对于 GPU Tensor Core 仍依赖通用寄存器文件，脉动阵列极大减少了全局数据搬运能耗，因此能效比占优。同时，现代 AI ASIC 普遍集成 BF16/FP8 混合精度、细粒度结构化稀疏（可跳过零值），进一步放大有效算力。

内存与互联

• HBM 堆栈：TPU v5p 估算配备 2~3 堆 HBM2e/3，总带宽约 2.4 TB/s（公开资料未见精确值，行业估算）；AWS Trainium2 的 HBM 带宽达数 TB/s。
• 片间互联（ICI）：TPU 通过自研 ICI 和光电路交换机（OCS）构建 3D Torus 拓扑，4096 片 TPU v4 的 bisection 带宽约 529 TB/s（来源：Google TPU v4 MLSys 2023 论文），使 AllReduce 集合通信近乎无瓶颈。
• 片上网络：具备多播、归约加速单元，部分 all‑reduce 在轴向直接完成，降低跨芯片通信量。

MoE 等新范式的适应

张量并行切分仍大量使用 AllReduce，MoE 的 All‑to‑All 通信需依赖高速互联与集合通信库优化。Google Pathways 等软件层将 TPU Pod 抽象为一台巨型设备，底层编译器（XLA）自动插入通信与计算重叠，使 MoE 路由在 TPU 上高效运行。

关键参数

衡量 AI ASIC 竞争力需关注以下维度的公开指标，表中数据均标注年份与来源：

说明：部分参数如 Trainium2 实测算力尚未完全公开，表中“数百 TFLOPS”基于 AWS 预先发布。所有数字均基于厂商 2023‑2024 年公开资料或权威行业分析，凡无法确认处已注明“估算”或“公开资料未见”。

技术路线

AI ASIC 技术演进大致分为四个阶段：

1. 推理专用（2015‑2018）：Google TPU v1 仅做推理，脉动阵列规模 256×256（INT8），用于语音搜索和 AlphaGo。AWS Inferentia 于 2019 年面世。
2. 训练能力扩充（2019‑2021）：TPU v2/v3 引入 BF16、HBM 和 TPU Pod，开始大规模训练，AWS 推出 Trainium。
3. 光互联与系统级优化（2022‑2024）：TPU v4 搭载 OCS，系统效率大幅提升；TPU v5p/v5e 分化训练/推理优化版；微软 Maia 100 和 Meta MTIA v2 启动。博通、Marvell 加速提供设计服务，3nm/5nm 工艺流片。
4. 3nm/2nm + 超大规模集群（2025+）：AI ASIC 将集成更大 HBM 堆栈，单颗算力朝 1 PFLOPS 迈进，10 万卡级集群将部分替代 GPU 需求。Chiplet 和 UCIe 互联使多 die 集成成为可能，设计服务商推出标准化 AI‑ASIC 平台。

技术路线概览表（年份对应首个商用版本）：

上游

• IP 与 EDA 工具：Arm 提供 CPU 内核（用于控制平面与标量核），Synopsys 和 Cadence 提供 DDR/PCIe/HBM PHY、高速接口 IP 及验证平台。
• 设计服务：博通（AVGO）为 Google TPU、Meta MTIA 及另一未披露客户提供从架构到流片的完整服务；Marvell（MRVL）承接 AWS Trainium/Inferentia 及微软 Maia 的部分后端设计；世芯电子（Alchip）、创意电子（GUC）等获得部分二线或区域性项目。博通在 2024 年 12 月财报电话会中披露，本财年内 AI 相关收入超过 120 亿美元，其中定制 AI 芯片（含 TPU 等）贡献最大（来源：Broadcom Q4 FY2024 Earnings）。
• 制造：台积电垄断 7nm 以下先进制程与 CoWoS-S/R/L 封装，2024 年 CoWoS 月产能约 35,000–40,000 片（晶圆），预计 2025 年将翻倍至 70,000 片以上，但 AI 芯片需求旺盛导致持续供不应求（来源：台积电 2024Q3 法说会及 Digitimes 报道）。
• HBM 供应商：SK 海力士市占率约 53%（2023 年，来源：TrendForce），三星约 38%，美光约 9%，三家均积极扩产 HBM3E，供给依然偏紧。

下游

AI ASIC 的最终使用者主要是自研芯片的云大厂，以及通过云服务间接使用的企业和开发者：

• 第一方部署：谷歌云用 TPU 训练 Gemini、PaLM 等大模型并为 GCP 客户提供 TPU 实例；AWS 用 Trainium/Inferentia 支撑 SageMaker 及 Bedrock 等 AI 服务；微软 Azure 在 2024 年已部署 Maia 100 加速器用于内部推理与训练任务；Meta 将 MTIA v2 部署于自身数据中心以加速推荐系统和生成式 AI；字节跳动自研 ASIC 已流片测试，预计 2025 年小批量部署于推荐和推理场景（来源：The Information 2024 年报道、各公司财报）。
• 云服务开放：谷歌云在 2024 年提供 TPU v5p 和 v5e 租用，AWS Trainium2 实例于 2024 年底上线。
• 集成商：戴尔、超微（Supermicro）等 ODM 正在适配 AI ASIC 服务器，用于企业级训推一体机。
• 规模数据：据行业估算，截至 2024 年底，谷歌内部的 TPU v4/v5 等效部署量已超 300 万片（来源：SemiAnalysis, 2024 年估算），AWS Trainium/Inferentia 总量超百万芯片。

受益公司

以下企业因 AI ASIC 趋势在业务上关联密切（仅客观陈述，不作投资建议）：

• 博通 (Broadcom, AVGO)：全球最大 AI ASIC 设计服务商，深度绑定谷歌、Meta 及字节（第三家已确认），2024 财年 AI 相关收入超过 120 亿美元（来源：Broadcom FY2024 10-K & Q4 Call）。其定制芯片业务的客户转换成本极高，多代产品迭代形成长期合约。
• Marvell (MRVL)：通过收购 Avera 获得 ASIC 能力，拿下 AWS Trainium/Inferentia 后端设计并扩展到微软 Maia 项目。公司 2024 年 AI 芯片业务收入同比大增，表示未来数年 ASIC 业务年增速将超 100%（来源：Marvell 2024 年 10 月投资者日）。
• 台积电 (TSM)：先进制程和 CoWoS 封装为该趋势的共同受益者，每片 3nm 晶圆平均售价高于 5nm，AI 相关营收占比在 2024 年已近 20%（来源：台积电 2024 年第三季财报）。
• 世芯电子 (Alchip, 3661.TW)：承接部分北美及中国客户的 AI ASIC 后端设计，尤其在 7nm/5nm 领域，2023‑2024 年营收大幅增长。
• 创意电子 (GUC, 3443.TW)：隶属台积电联盟，提供设计服务与 2.5D/3D 封装设计，受惠于二线云厂和芯片初创公司的 ASIC 需求。
• 终端云厂商：
  • 谷歌 (Alphabet)：自研 TPU 降低了 AI 推理与训练的 CapEx 成本，同时通过云服务形成收入闭环。2024 年 Google Cloud 收入中 TPU 相关的加速计算份额提升。
  • 亚马逊 (Amazon)：Trainium/Inferentia 系列增强了 AWS 的差异化竞争力，2025 年有望承载更多 Anthropic 等外部大模型训练任务。
  • 微软 (Microsoft)：Maia 100 已部署于 Azure 内部，配合 Cobalt CPU 提升能效，降低对第三方 GPU 的依赖。
  • Meta：MTIA 专注推荐系统和内部生成式 AI，2024 年 MTIA v2 开始小批量应用，节省部分 GPU 采购支出。
  • 字节跳动：自研 AI ASIC 旨在降低大规模推荐和推理的 TCO，据 2024 年公开报道已进入流片阶段。

市场规模

整体 AI 芯片市场

据第三方机构统计，2024 年全球 AI 芯片（含 GPU、ASIC、FPGA）市场约 700–900 亿美元（综合 Omdia 和 SemiAnalysis 2024 年报告口径），预计 2027 年将超过 1800 亿美元。其中 AI ASIC 细分市场在 2024 年估计约 80–120 亿美元（含训练和推理芯片的定制硅成本，来源：估算基于博通 AI 收入、Marvell 数据和客户部署量交叉验证）。

博通对 ASIC 可服务市场的量化

博通在 2024 年 12 月的投资者沟通中给出明确范围：其三大客户（谷歌、Meta 及另一未披露）到 2027 年对 AI 芯片的总投入（包含芯片设计、制造、封装等，不包含服务器其他 BOM）将达到 600–900 亿美元可服务市场（SAM）（来源：Broadcom Q4 FY2024 Earnings Call, 12/12/2024）。该数据被视为 AI ASIC 未来规模的基准指引。

结构分解

• 训练芯片：目前 ASIC 训练占比约 15‑20%（2024 年，来源：第三方分析），受益编译器和互联成熟，有望在 2027 年升至 30% 以上。
• 推理芯片：预计增长更快，因推理需求爆发且对延迟灵活性要求相对低，Meta 推荐系统、字节推荐/搜索等全力转向 ASIC。
• 区域：北美占据 80% 以上 ASIC 消耗，中国大陆受限于先进制程，华为昇腾、寒武纪等主打国产替代，市场规模较小。

玩家对比

选取 2024 年已大规模部署或即将部署的主要 AI ASIC 与代表性 GPU 进行参数与生态对比：

量化比较：在 Google 等内部基准测试中，TPU v5p 对于 GPT‑3 规模的 Transformer 模型的每美元吞吐量可达 H100 的 1.5‑2 倍（来源：Google Cloud 博客 2024 年引用内部基准）。但灵活性远不如 GPU，如不支持原生 FP64 或图形库，无法运行不兼容算子。

风险

技术迭代风险

AI 算法演进可能偏离现有 ASIC 的优化路径，如状态空间模型（Mamba）、混合递归等新结构需要全新切分和算子支持。ASIC 设计周期长达 18‑24 个月，如遇范式突变，落后一代的风险显著。

供应链风险

CoWoS 先进封装产能集中于台积电，2024 年月产能 35k‑40k 片，苹果、英伟达等大客户占据优先份额，ASIC 厂商产能分配受限。SK 海力士 HBM3E 供货紧张，上游供给波动可能推迟芯片交付，影响云厂商部署节奏。

客户集中风险

AI ASIC 市场高度集中于 3‑5 家超大规模客户，设计服务商（博通、Marvell）的重大营收依赖少数项目，一旦主要客户改用其他方案或自研后端，将带来剧烈业绩波动。

软件生态壁垒

虽然 PyTorch 对 XLA 后端支持日渐改善，但断点调试、自定义算子和性能调优仍然落后 CUDA，生态碎片化可能导致企业开发者不愿迁出 NVIDIA 体系，形成用户惯性锁定风险。

成本摊销风险

AI ASIC 的单次 NRE（一次性工程费用）可达数亿美金，若芯片最终部署量未达规模经济门槛，单位算力成本反而高于购买现成 GPU，对中型云厂商存在经济可行性风险。

误读纠偏

• 误读 1：“AI ASIC 不能训练大模型。”
  事实：Google Gemini 系列模型全在 TPU v4/v5p 上训练，AWS 已用 Trainium 训练千亿参数大语言模型。现代 AI ASIC 具备与 GPU 相当的 BF16/FP8 算力和 HBM 带宽，XLA/Neuron 等编译器支持自动混合精度和分布策略，训练能力不逊同代 GPU。

• 误读 2：“ASIC 功能固定，只能跑某种神经网络。”
  事实：脉动阵列本质是通用矩阵乘法引擎，配合可编程标量/向量单元可执行任意激活函数。只要模型可由基本算子（全连接、注意力、卷积）表达，ASIC 即可通过编译器映射运行。Google TPU 已支持 Transformer、CNN、扩散模型等多种架构。

• 误读 3：“开发 AI ASIC 极其困难，只有 Google 能玩。”
  事实：博通和 Marvell 已提供成熟的 IP 平台和设计服务，将物理实现高度产品化，使新玩家能在约两年内完成流片（Meta MTIA v2 约两年）。尽管投资门槛仍高，但对比每年数十亿美元的 GPU 采购，自研芯片的 ROIC 依然有吸引力。

• 误读 4：“ASIC 只能做推理。”
  事实：尽管早期专攻推理，但自 TPU v2 起已支持训练，AWS Trainium 系列直接定位训练。未来几年训练 ASIC 比例将持续上升。

• 误读 5：“华为昇腾、寒武纪无法参与全球竞争。”
  事实：受制程限制，这些芯片在绝对性能密度上落后，但凭借在特定框架（MindSpore）和国内市场替代政策下仍有一定份额，在生态割裂中扮演局部角色。

最新事件

（截至 2025 年 1‑2 月可获的信息）

• 博通 2024 年 12 月财报超预期：定制 AI 芯片收入带动整体营收增长，管理层明确“600‑900 亿美元 SAM”口径，并指出已在开发下一代 3nm 客户产品（来源：Broadcom Q4 FY2024 Earnings）。
• Marvell 取得新突破：2024 年底宣布与另一家超大规模客户达成 AI ASIC 合作协议，预计 2025 年下半年量产，被认为是为微软量产的 Maia 或全新客户（来源：Marvell 2024 年 12 月业务更新）。
• AWS Trainium2 开始出货：2024 年 re:Invent 上确认将推出 Trn2 实例，支持数十万芯片集群，采用 5nm 工艺，并且与 Anthropic 合作训练下一代模型。
• Meta MTIA v2 实际部署：2024 年 Q3 财报提到已部分用于 Live Feed 和生成式推荐推理，节省大量 GPU 资源，但未披露准确数量。
• 字节跳动自研 ASIC：据外媒 2024 年报道，字节已与博通合作定制 AI 芯片，用于推荐和推理，计划 2025 年部署，遵守美国出口管制下符合要求的设计。
• 华为昇腾 910B 及 2025 路线：受限于与台积电脱钩，采用 7nm 节点（中芯国际 N+2？），并适配昇思 MindSpore；公开报道中国运营商和政务云采购数千片，用于国产化 AI 平台。
• CoWoS 扩产持续：台积电 2025 年预计将 CoWoS 月产能由 35k 提升至 70k 片以上，新增产能部分被英伟达和英特尔占据，AI ASIC 厂分得约 20% 左右（来源：Digitimes 2024 年 12 月）。

跟踪指标

为了客观跟踪 AI ASIC 趋势而非作为投资建议，可关注以下高时效指标：

• 设计服务厂商 AI 相关收入：博通季度财报中的“Custom AI accelerator revenues”、Marvell 的“Cloud AI”营收增速，可反映项目爬坡与客户需求。
• CoWoS 产能分配协议：台积电法说会披露的先进封装产能及客户预订情况，直接预示 AI ASIC 出货量。
• HBM 交期与价格：SK 海力士、三星等 HBM3E 合同的交货提前期和溢价，影响芯片成本和供应可获性。
• 云厂商自有芯片公开部署规模：GCP TPU 实例类型增长、AWS Trn2 可用区数量、Azure Maia 实例公告等。
• 模型训练报告中的硬件标记：如 Google DeepMind 论文中标记 TPU v5p 训练规模（芯片数量、时间），可推算实际效率。
• 博通/Marvell 对客户合同的进展：新客户设计赢得（design win）、产品从流片到量产的里程碑新闻。
• 全球 AI 服务器出货结构：依据 Omdia 或集邦咨询的季度数据，观察 ASIC 服务器占比变化。

信源

1. Google Cloud TPU v5p 官方文档 – https://cloud.google.com/tpu/docs/v5p
2. Google TPU v4 论文: “The Fourth Generation of Tensor Processing Units,” MLSys 2023
3. Broadcom Inc. Q4 FY2024 Earnings Call (Dec 12, 2024) – Transcript via Seeking Alpha/Broadcom IR
4. Marvell Technology 2024 年 10 月投资者日及业务更新 – Marvell IR
5. AWS re:Invent 2023 – Trainium2 公告: https://aws.amazon.com/blogs/aws/
6. AWS Trainium2/Inferentia2 产品页 – https://aws.amazon.com/machine-learning/trainium/
7. 台湾积体电路制造 2024 年第三季法说会及 CoWoS 产能进展 – TSMC IR
8. SemiAnalysis, “AI ASIC Wars Begin,” 2024 （订阅分析报告）
9. Digitimes Research, “AI Chip Market Survey,” 2024 年 12 月
10. TrendForce, “HBM Market Report,” Q3 2024
11. The Information, “ByteDance Develops Own AI Chips with Broadcom,” 2024
12. Microsoft Maia 100 公告 – Microsoft Ignite 2023 博客
13. Meta MTIA v2 – Meta AI Blog, 2024
14. Omdia, “AI Processors Forecast,” Q4 2024

注：本文所有财务与产能数字均标注年份、口径及来源，不确定信息已明确标识“估算”或“公开资料未见”。不构成任何投资建议或买卖推荐。