张量处理器

3秒看懂

TPU（Tensor Processing Unit，张量处理器）是谷歌为机器学习定制设计的专用集成电路。它不像 GPU 那样面向图形或通用并行计算，而是从硬件指令集到软件栈全链路针对“张量运算”（主要是矩阵乘法与卷积）做死磕式优化。通过大尺寸脉动阵列和超大容量高带宽内存，TPU 在 AI 训练与推理中追求极致的每瓦实用算力，并通过 Google Cloud 以“TPU 虚拟机”和“Pod 切片”的形式对外提供算力服务。

3分钟产业解释

TPU 是谷歌摆脱对通用硬件供应商依赖、构建超大规模 AI 基础设施自主可控能力的核心载体。自 2015 年内部部署第一代推理专用 TPU 以来，已迭代至第六代“Trillium”。其产业逻辑十分朴素：在谷歌内部实际生产环境中，90% 以上的 AI 计算时间消耗在矩阵乘法和卷积上。与其用 GPU 的大量芯片面积和功耗去兼顾图形渲染、科学计算等与 AI 无关的功能，不如将晶体管预算全部投向脉动阵列和高带宽内存接口，在同等工艺节点和功耗预算下实现对 AI 负载更高的有效算力。

TPU 的产业定位用一个词概括就是——“非卖品”。谷歌不向市场销售 TPU 芯片或板卡，而是将其作为谷歌云的基础设施层进行出租。这意味着 TPU 的商业模式不是卖硬件，而是卖“算力服务”。这种做法使谷歌形成了“自研芯片 + 自研训练框架（TensorFlow/JAX）+ 自研编译器（XLA）+ 自研集群互联系统”的垂直全栈闭环，与采购 NVIDIA GPU 的云厂商和同样走上自研 ASIC 道路的其他超大规模企业展开了差异化的基础设施竞争。

技术原理

脉动阵列：为什么 TPU 的矩阵乘法效率高

TPU 的核心计算单元是“权重固定”的脉动阵列。传统 CPU 或 GPU 在执行矩阵乘法时，需要反复从寄存器、共享内存或缓存中读取操作数并回写部分和，数据搬运所消耗的能量往往超过计算本身。而 TPU 的做法是将权重矩阵的若干元素预先加载到脉动阵列中的每一个处理单元内，然后让输入激活数据像流水一样依次“泵入”阵列并向右传递。每个处理单元在本地完成一次乘加后将部分和向下传递，整个过程不需要反复存取中间结果，数据复用率极高，功耗高度集中在有效的乘加运算上。

以下是一个简化的示意（实际 MXU 规模远大于此，仅用于表达数据流模式）：

权重矩阵 W 预加载到 PE 阵列：

     PE[0,0](w₀₀)  PE[0,1](w₀₁)  PE[0,2](w₀₂)
     PE[1,0](w₁₀)  PE[1,1](w₁₁)  PE[1,2](w₁₂)
     PE[2,0](w₂₀)  PE[2,1](w₂₁)  PE[2,2](w₂₂)

输入向量 X 从左端“泵入”，向右逐级传递：

x₀ → PE[0,0] → PE[0,1] → PE[0,2] → 部分和向下传递
x₁ → PE[1,0] → PE[1,1] → PE[1,2] → …
x₂ → PE[2,0] → PE[2,1] → PE[2,2] → …

每个周期，每个 PE 完成一次乘法并累加到纵向传来的部分和中，
最终在阵列底部输出 Y = W × X 的结果。

在真实的 TPU 设计中，MXU 包含的乘法累加单元数量远超示意图所示的规模，单周期可完成数万至数十万次乘加操作。输入数据经由高带宽内存送入，非矩阵操作（如激活函数、归一化等）由向量单元和标量单元协同完成。

训练与推理在硬件层面的差异

推理芯片（以第一代 TPU 为代表）仅支持 INT8 量化推理，峰值算力形态单一，但能效比极高，极其适合在数据中心内大规模部署以支撑在线服务。从第二代 TPU 开始引入训练能力后，必须支持 BF16 浮点格式——这种格式的指数位数与 FP32 相同，保证了与 FP32 相近的动态范围，但尾数位数减半，在硬件上比 FP16 更容易实现且不易出现梯度下溢。训练芯片还需要更大的内存容量来存储浮点梯度、优化器状态（如 Adam 的一阶和二阶动量），以及更强的芯片间互联来承载训练期间高频、高带宽的梯度同步通信。

互联拓扑：从芯片到超级计算机

芯片间互联是 TPU 系统级性能的核心支柱。从 TPU v4 开始，谷歌引入基于光电路交换的互联架构，允许在 Pod 内部动态重组芯片间的拓扑连接关系，而不必受限于固定的物理布线。在典型的 TPU Pod 内，每颗芯片通过自研 ICI 高速链路与相邻芯片直连，整体构成巨型二维或三维环网。这种拓扑使分布式训练中最常见的全规约操作能够在接近理论极限的二分带宽下完成，极大缓解了梯度同步环节的通信瓶颈。

从分布式训练的并行策略来看，TPU 集群需要承载以下几种典型的通信模式：

• 数据并行：每颗芯片拥有一份完整模型副本，梯度同步使用 AllReduce，TPU 的高带宽环网天然适合环状 AllReduce 算法。
• 张量并行/模型并行：单层内的矩阵运算在多颗芯片间切分，通信模式为 AllReduce 或 ReduceScatter。
• 混合专家架构：门控路由器将 Token 分发到不同专家模块，需要 All-to-All 通信，ICI 的高带宽优势在此类负载中同样适用。

上述并行策略的具体编排由 XLA 编译器在计算图级别自动完成，用户通常无需手动管理芯片间通信细节。

（注：关于具体制程节点、HBM 代际、封装方案等物理实现细节，谷歌未做完整公开披露。本节所有关于硬件实现的描述均为基于公开资料的定性推断，不确定处标注“公开资料未见”。）

关键参数

评价 TPU 的能力不能套用 GPU 世界“仅看峰值 TFLOPS”的习惯。面向真实负载的系统级效率指标更为关键：

• 模型 FLOPS 利用率：衡量芯片实际用于矩阵乘加的有效算力占理论峰值算力的比例。得益于脉动阵列与 AI 负载的高度吻合以及 XLA 编译器的图级优化，TPU 的 MFU 通常显著高于同期 GPU 平台（具体数值因模型结构而异，谷歌在部分技术论文中披露过 PaLM 等大模型在 TPU v4 上的 MFU 数据，公开资料可查）。
• 训练扩展效率：当参与训练的芯片数量翻倍时，单步训练时间能否接近减半。TPU 凭借环网拓扑和 OCS 架构，在大规模集群（如 1024 颗、2048 颗芯片）上常能报告接近线性的扩展效率，但这属于特定模型和特定规模下的实测值，并非对所有负载均成立。
• 单芯片实用训练吞吐：在特定参数量级的大语言模型（如 175B、300B+ 级别）上，TPU Pod 切片完成的每秒 Token 数或每秒序列数。该指标高度依赖模型结构、并行策略和批量大小，无法用一个固定数字概括所有代际和场景。
• 推理延迟与吞吐：在线推理场景下的 99 分位延迟和最大每秒查询数。对于大语言模型的生成式推理，注意力机制的 KV 缓存管理、内存带宽和批次调度策略对延迟和吞吐的影响往往比裸算力更大。
• 能效比：每瓦功耗下可提供的有效算力，以 TOPS/W 衡量。定制 ASIC 在此指标上相对同期 GPU 通常存在结构性的优势空间，但具体优势幅度取决于代际、工艺和对比基准的选择。

（注：各代 TPU 的具体峰值算力、内存容量、互联带宽等规格参数，谷歌在每代产品发布时通过 Cloud 文档和博客选择性披露。本文不编造未经官方确认的详细规格表。）

技术路线

TPU 的演进脉络可以概括为“从推理专用到训练推理一体，从单板卡到万卡级集群，从电交换到光交换”。

• 第一代：推理专用，INT8 脉动阵列，PCIe 插卡形态，部署于谷歌内部数据中心，支撑语音搜索、图像识别、机器翻译等在线服务。在 2017 年公开发表的 ISCA 论文中，谷歌披露 TPU v1 在其负载上的每瓦性能比同期 CPU/GPU 高出一个数量级以上。
• 第二代：首次加入训练能力，支持 BF16 浮点格式，以多芯片集群形态通过 Cloud TPU 对外提供算力服务。AlphaGo Zero 等标志性项目在 TPU v2 集群上完成训练。
• 第三代：算力相比 v2 翻倍，引入液冷散热以提高单位机架空间的功率密度和持续性能。液冷成为此后 TPU 集群的标准散热方案。
• 第四代：架构上最重要的分水岭。引入光电路交换技术重构集群互联，Pod 规模弹性大幅扩展。TPU v4 广泛用于训练 PaLM 等千亿参数级大语言模型，单集群规模达到 4096 颗芯片。
• 第五代（v5p）：v5 系列中的高性能型号，单芯片算力、HBM 容量和互联带宽较 v4 再度大幅提升，用于 Gemini Ultra 等前沿大模型的训练。
• 第六代 Trillium：针对大语言模型和混合专家架构做了深层优化，进一步提升训练和推理的每美元性能。作为当前最新代次，公开可用的详细规格仍不完整，部分关键参数谷歌暂未披露。

上游

TPU 产业链上游主要包括芯片设计、制造、内存和互联组件四大领域。由于谷歌对供应链信息严格保密，以下分析基于行业普遍推测，不确定处已标注：

• 芯片设计：核心架构设计和 RTL 开发由谷歌内部芯片团队完成，“公开资料未见”确切的团队规模和分工细节。物理设计、后端实现和部分 IP 集成“可能”引入外部 ASIC 设计服务商（如博通、Marvell 等），但谷歌从未官方确认过具体合作伙伴身份及合作范围。
• 制造与封装：先进制程代工“据行业推测”高度依赖台积电或其竞争厂商，但谷歌未公开代工厂商和制程节点。先进封装技术“极可能”采用 CoWoS 或类似方案以集成超大容量 HBM 和芯片间互联接口，同样未获官方确认。
• 高带宽内存：TPU 历来以搭载超大容量 HBM 著称，是 HBM 市场的重要需求方之一。供应商涵盖 SK 海力士、三星、美光等 HBM 主力厂商，但各代 TPU 的具体容量、位宽、堆叠层数和供应商份额“公开资料未见”。
• 光交换与互联组件：TPU v4 起引入的光电路交换系统涉及自研光模块或深度定制方案，其光器件、高速 SerDes IP 和电路交换芯片的供应体系“公开资料未见”完整信息。

下游

TPU 的算力消费端分为三个层次：

• 谷歌内部生产环境：这是 TPU 最大的部署场景。谷歌搜索排名、广告推荐、YouTube 视频理解、Google Photos 图像分析、Google Translate 神经机器翻译、Gemini 大模型家族的训练与推理等核心业务，每日承载万亿次级别的推理调用和大规模训练任务。谷歌未单独披露内部各部门的 TPU 消耗量和算力分配比例。
• 谷歌云对外算力服务：通过 Cloud TPU 产品向外部客户提供从单颗 TPU 到整个 Pod 切片的算力租用。客户涵盖前沿 AI 实验室和创业公司。Midjourney 的图像生成模型、Anthropic 的部分大模型训练（具体依赖比例未公开）、Stability AI 的模型训练等均曾不同程度使用 Cloud TPU。此外，通过 TPU 研究云计划向学术界提供免费算力配额，覆盖全球多所高校和研究机构的 AI 项目。
• 生态间接拉动：使用 TPU 的客户往往同步消费谷歌云的存储、网络、数据分析和 AI 平台等附加云服务，形成以算力为锚点的综合云消费。这部分间接拉动的营收体量“公开资料未见”精确披露。

受益公司

由于 TPU 不外售，不存在纯粹的“TPU 概念股”，其受益逻辑以间接映射为主。所有映射关系需结合公开信息谨慎判断，不应被简单理解为“业绩必然受益”的结论。

• 直接受益——Alphabet：谷歌是 TPU 的唯一设计者和运营者。TPU 降低了大模型训练与推理的内部算力成本，构成谷歌云 AI 基础设施差异化的核心卖点。若 TPU 生态成功扩大谷歌云在 AI 原生客户中的渗透率，云业务收入的增长将直接反映在 Alphabet 的财务报表中。
• 供应链间接映射：基于行业推测，TPU 的持续放量可能关联到 HBM 供应商的需求增长（具体受益幅度取决于 TPU 出货量占 HBM 总需求的比例，无公开数据可查）；可能涉及先进封装产能的消耗（与 NVIDIA、AMD、英特尔等一同构成对 CoWoS 产能的总需求，TPU 占比无法单独量化）；可能关联到为 ASIC 设计提供后端服务和 IP 的厂商（具体合同关系和收入贡献未公开）。
• 竞争格局间接影响：TPU 的强势在理论上对 NVIDIA 在超大规模云客户训练市场的议价环境构成边际压力，但 NVIDIA GPU 面对的客户群体和应用场景远超谷歌一家，单一因素的实际影响有限，无法量化。同时，TPU 的迭代速度对同样走自研 ASIC 路线的云厂商构成竞争标尺，加速全行业自研芯片的军备竞赛。

（注：本节不构成任何形式的投资建议或个股推荐。所有供应链关系的描述均基于公开报道和行业分析推测，未经谷歌及其合作方官方证实。）

市场规模

TPU 不直接参与 AI 芯片的公开市场销售，因此无直接对应的芯片销售收入口径。其间接市场影响体现在两个维度：

• 云算力服务市场：全球 AI 云基础设施市场规模持续快速扩大。据第三方机构 Omdia 和 IDC 的估算，2023 年 AI 云服务总支出约数百亿美元量级（口径含 IaaS 和 PaaS 中的 AI 算力部分），且年增速维持在较高水平。谷歌云在此市场中的份额逐步扩大，TPU 是其 AI 差异化定位的重要支撑，但谷歌从未单独披露由 TPU 直接贡献的云收入金额。
• AI 加速器总需求市场：据 Mercury Research 和第三方报告估计，2023 年全球数据中心 AI 加速器市场中，NVIDIA 以 80%–90% 的收入份额占据绝对主导，定制 ASIC（含 TPU、Trainium/Inferentia 等）合计占比呈现上升趋势。TPU 因不计入销售收入，在收入口径下无法直接体现，但在算力部署量口径下，据 SemiAnalysis 等分析机构估计，谷歌自研 TPU 已是超大规模云厂商内部部署量最大的单一算力来源之一（此估计基于对谷歌数据中心规模和自研芯片部署节奏的推测，非官方数据）。

TPU 间接拉动的产业链上游包括：HBM 需求持续旺盛、先进封装产能供不应求、高速光器件和 SerDes IP 需求增长，这些维度的市场增量“无公开口径可单独归因至 TPU”。

玩家对比

将 TPU 与同期主流 AI 加速方案做定性比较，有助于理解其差异化价值与局限。表中描述为各代际的概括性特征，不锚定某一具体型号。

（注：表中比较为定性归纳，不可作为采购或投资决策的量化依据。）

风险

• 生态锁定风险：TPU 与 TensorFlow/JAX/XLA 生态高度耦合，对 PyTorch 的支持虽有 torch_xla 桥接，但兼容性、调试便利性和社区支持仍落后于 CUDA 生态。客户如果将核心训练管道深度绑定至 TPU，未来若需迁移至其他平台将面临高昂的工程成本。部分潜在客户可能因此选择保持 GPU 依赖以维持跨云迁移的灵活性。
• 模型架构演变风险：TPU 的硬件设计围绕密集矩阵乘法做极致优化。若未来 AI 模型结构发生根本性变化（如动态稀疏、控制流密集、非矩阵运算主导的架构成为主流），TPU 的专用性可能从优势转为劣势，届时 GPU 的通用性反而成为更安全的长期选择。截至 2025 年初，混合专家架构依然是权重固定的矩阵运算，TPU 的适应性仍属优良，但长期趋势无法预测。
• 供应与可得性风险：TPU 最新代次（如 Trillium）在谷歌云部分区域的供应时常处于紧张状态，部分客户可能遇到排队等候的情况（此为用户社区反馈，非谷歌官方 SLA 承诺）。训练进度的延迟会转化为隐性成本，在总拥有成本比较中需要纳入考量。
• 单供应商风险：使用 TPU 意味着在芯片、框架、云平台三个层面同时锁定谷歌一家供应商，这与多云战略和供应商多样化原则存在冲突，构成部分企业客户在合规和业务连续性层面的顾虑。
• 技术迭代节奏风险：TPU 的迭代节奏由谷歌内部研发路线图决定，对外不公开产品路线图。客户无法像购买 GPU 那样根据 NVIDIA 公开披露的路线图进行提前规划。谷歌某代 TPU 与实际负载需求之间是否匹配，客户只能被动接受。

误读纠偏

误读一：“TPU 就是谷歌版的 GPU，可以直接无缝跑 PyTorch。”

真实情况：TPU 在硬件层面是为 XLA 计算图设计的，对 PyTorch 的支持通过 torch_xla 中间层桥接实现，并非原生。多数 PyTorch 模型需一定程度的代码适配才能在 TPU 上高效运行，部分算子不兼容或性能退化，调试体验与 GPU 上的原生 PyTorch 存在明显差距。将 TPU 视为 GPU 的即插即用替代品会严重高估其通用性。

误读二：“TPU 不外售等于没有商业价值，只能服务谷歌内部。”

真实情况：TPU 的商业价值不以芯片销售收入体现，而是通过 Cloud TPU 的算力租用服务实现。Midjourney 等大型外部客户在 TPU 上的消费直接贡献谷歌云收入，并同步拉动存储、网络等附加云服务的消费。其商业模式是“卖铲子”的云算力模式，而非芯片销售模式。

误读三：“TPU 能效很高，所以训练大模型一定比 GPU 省钱很多。”

真实情况：总拥有成本除了硬件能效外，还包括人力适配成本、供应紧张导致的等待时间成本、生态锁定的隐性转换成本等。虽然 TPU 的 MFU 往往高于同期 GPU，特定条件下每美元有效算力确实可能更优，但这一优势是有条件的，不可跨模型、跨场景做简单外推。

最新事件

• 2024 年底，谷歌第六代 TPU“Trillium”正式面向云客户开放，宣称在大语言模型和混合专家架构上实现更高的训练和推理性价比。截至 2025 年初，详细的独立第三方基准测试结果尚不完整，“公开资料未见”与同期竞品（如 NVIDIA B200）在标准化负载下的横向对比数据。
• 谷歌 Gemini 2.0 系列模型的训练大规模使用了 TPU v5p 和 Trillium 集群。谷歌在官方博客中提及了部分训练基础设施细节，但未披露节点数量、总耗时和总能耗等完整信息。
• 谷歌云持续扩展 Cloud TPU 的区域覆盖范围，新增多个区域提供 v5p 和 Trillium 实例。具体可用区域和机型见谷歌云官方文档。
• 竞争对手动态：亚马逊 Trainium2 于 2024 年底进入量产部署阶段，微软 Maia 100 首次公开用于 Azure AI 负载，Meta 持续推进自研 MTIA 推理芯片。超大规模云厂商的自研 ASIC 竞争在 2024–2025 年明显加速，TPU 的先发优势面临来自多方的追赶压力。

跟踪指标

持续跟踪 TPU 的关键指标不应局限于谷歌偶尔公开的峰值算力数字，建议从以下维度系统性观察：

• 谷歌云 AI 业务收入：Alphabet 财报中“Google Cloud”业务线的收入增速、AI 相关收入的定性描述和管理层电话会议中对 AI 基础设施需求的展望，是间接评估 TPU 商业贡献最可靠的公开数据源。
• 新一代 TPU 的公开基准：关注谷歌在 MLPerf 等标准基准测试中的提交结果，以及与同期 NVIDIA GPU 在相同负载上的对比。MLPerf 的训练和推理结果按轮次公开发布。
• 谷歌发表的大模型训练论文：谷歌在发表 Gemini、PaLM、Gemma 等模型技术报告时通常附带训练基础设施和系统效率的部分数据，是了解 TPU 实际系统性能的重要窗口。
• 外部客户生态进展：关注重要 AI 创业公司（如 Anthropic、Midjourney、Character.AI 等）与谷歌云的算力合作动态，包括是否扩大 Cloud TPU 使用规模、是否引入多供应商策略等。
• 供应链动向：HBM 出货量指引、先进封装产能分配格局、代工厂对“定制 ASIC 客户”的收入披露，间接反映 TPU 及其他自研芯片的扩产节奏。此类信息需通过半导体厂商的财报和行业报告跟踪，不可直接等同于 TPU 数据。
• 谷歌资本支出与数据中心建设：Alphabet 季度资本支出中的“技术基础设施”部分，结合谷歌全球数据中心扩张公告，判断其对自研算力的长期投入力度。

信源

• Norman P. Jouppi et al. “In-Datacenter Performance Analysis of a Tensor Processing Unit.” ISCA 2017. 谷歌官方发表的 TPU v1 系统论文，为公开可查的一手技术文献。
• Google Cloud 官方文档中关于 Cloud TPU 的架构说明、编程指南和性能调优建议，随产品迭代持续更新。
• Google AI Blog 和 Google Cloud Blog 中各代 TPU 的发布公告及相关技术说明（v2 至 Trillium）。
• Google Research 发表的 PaLM、Gemini、Gemma 等模型技术报告，其中部分章节涉及训练基础设施和系统效率数据。
• MLPerf 官方公布的训练和推理基准测试结果数据库，按组织分类可筛选谷歌提交的 TPU 相关结果。
• SemiAnalysis 对 TPU v4、v5p 的硬件逆向分析及供应链调查文章。该类分析非官方信息，可靠性有限，仅作供应链层面的定性参考。
• Omdia、IDC、Mercury Research 等第三方机构关于 AI 加速器市场和云 AI 基础设施市场的行业报告，相关数据口径以上述机构发布的正式报告为准。
• 注释：本文涉及的供应链关系、财务数据、市场占有率等信息，凡未标注具体来源和年份口径的，均属公开资料未见确切数据，请以谷歌 Alphabet 官方财报、谷歌云官方文档及上述学术论文和机构报告为最终依据。