張量處理器
3秒看懂
TPU（Tensor Processing Unit，張量處理器）是Google為機器學習定製設計的專用積體電路。它不像 GPU 那樣面向圖形或通用平行計算，而是從硬體指令集到軟體棧全鏈路針對“張量運算”（主要是矩陣乘法與卷積）做死磕式最佳化。通過大尺寸脈動陣列和超大容量高頻寬記憶體，TPU 在 AI 訓練與推論中追求極致的每瓦實用算力，並通過 Google Cloud 以“TPU 虛擬機器”和“Pod 切片”的形式對外提供算力服務。
3分鐘產業解釋
TPU 是Google擺脫對通用硬體供應商依賴、建置超大規模 AI 基礎設施自主可控能力的核心載體。自 2015 年內部部署第一代推論專用 TPU 以來，已迭代至第六代“Trillium”。其產業邏輯十分樸素：在Google內部實際生產環境中，90% 以上的 AI 計算時間消耗在矩陣乘法和卷積上。與其用 GPU 的大量晶片面積和功耗去兼顧圖形渲染、科學計算等與 AI 無關的功能，不如將電晶體預算全部投向脈動陣列和高頻寬記憶體介面，在同等工藝節點和功耗預算下實現對 AI 負載更高的有效算力。
TPU 的產業定位用一個詞概括就是——“非賣品”。Google不向市場銷售 TPU 晶片或板卡，而是將其作為Google雲端的基礎設施層進行出租。這意味著 TPU 的商業模式不是賣硬體，而是賣“算力服務”。這種做法使Google形成了“自研晶片 + 自研訓練架構（TensorFlow/JAX）+ 自研編譯器（XLA）+ 自研叢集互聯絡統”的垂直全棧閉環，與採購 NVIDIA GPU 的雲端廠商和同樣走上自研 ASIC 道路的其他超大規模企業展開了差異化的基礎設施競爭。
技術原理
脈動陣列：為什麼 TPU 的矩陣乘法效率高
TPU 的核心計算單元是“權重固定”的脈動陣列。傳統 CPU 或 GPU 在執行矩陣乘法時，需要反覆從暫存器、共享記憶體或快取中讀取運算元並回寫部分和，資料搬運所消耗的能量往往超過計算本身。而 TPU 的做法是將權重矩陣的若干元素預先載入到脈動陣列中的每一個處理單元內，然後讓輸入啟用資料像流水一樣依次“泵入”陣列並向右傳遞。每個處理單元在本地完成一次乘加後將部分和向下傳遞，整個過程不需要反覆存取中間結果，資料複用率極高，功耗高度集中在有效的乘加運算上。
以下是一個簡化的示意（實際 MXU 規模遠大於此，僅用於表達資料流模式）：
權重矩陣 W 預載入到 PE 陣列：
PE[0,0](w₀₀) PE[0,1](w₀₁) PE[0,2](w₀₂)
PE[1,0](w₁₀) PE[1,1](w₁₁) PE[1,2](w₁₂)
PE[2,0](w₂₀) PE[2,1](w₂₁) PE[2,2](w₂₂)
輸入向量 X 從左端“泵入”，向右逐級傳遞：
x₀ → PE[0,0] → PE[0,1] → PE[0,2] → 部分和向下傳遞
x₁ → PE[1,0] → PE[1,1] → PE[1,2] → …
x₂ → PE[2,0] → PE[2,1] → PE[2,2] → …
每個週期，每個 PE 完成一次乘法並累加到縱向傳來的部分和中，
最終在陣列底部輸出 Y = W × X 的結果。在真實的 TPU 設計中，MXU 包含的乘法累加單元數量遠超示意圖所示的規模，單週期可完成數萬至數十萬次乘加操作。輸入資料經由高頻寬記憶體送入，非矩陣操作（如啟用函式、歸一化等）由向量單元和標量單元協同完成。
訓練與推論在硬體層面的差異
推論晶片（以第一代 TPU 為代表）僅支援 INT8 量化推論，峰值算力形態單一，但能效比極高，極其適合在資料中心內大規模部署以支撐線上服務。從第二代 TPU 開始引入訓練能力後，必須支援 BF16 浮點格式——這種格式的指數位數與 FP32 相同，保證了與 FP32 相近的動態範圍，但尾數位數減半，在硬體上比 FP16 更容易實現且不易出現梯度下溢。訓練晶片還需要更大的記憶體容量來儲存浮點梯度、最佳化器狀態（如 Adam 的一階和二階動量），以及更強的晶片間互聯來承載訓練期間高頻、高頻寬的梯度同步通訊。
互聯拓撲：從晶片到超級計算機
晶片間互聯是 TPU 系統級效能的核心支柱。從 TPU v4 開始，Google引入基於光電路交換的互聯架構，允許在 Pod 內部動態重組晶片間的拓撲連線關係，而不必受限於固定的物理佈線。在典型的 TPU Pod 內，每顆晶片通過自研 ICI 高速鏈路與相鄰晶片直連，整體構成巨型二維或三維環網。這種拓撲使分散式訓練中最常見的全規約操作能夠在接近理論極限的二分頻寬下完成，極大緩解了梯度同步環節的通訊瓶頸。
從分散式訓練的並行策略來看，TPU 叢集需要承載以下幾種典型的通訊模式：
- 資料並行：每顆晶片擁有一份完整模型副本，梯度同步使用 AllReduce，TPU 的高頻寬環網天然適合環狀 AllReduce 演算法。
- 張量並行/模型並行：單層內的矩陣運算在多顆晶片間切分，通訊模式為 AllReduce 或 ReduceScatter。
- 混合專家架構：門控路由器將 Token 分發到不同專家模組，需要 All-to-All 通訊，ICI 的高頻寬優勢在此類負載中同樣適用。
上述並行策略的具體編排由 XLA 編譯器在計算圖級別自動完成，使用者通常無需手動管理晶片間通訊細節。
（注：關於具體制程節點、HBM 代際、封裝方案等物理實現細節，Google未做完整公開揭露。本節所有關於硬體實現的描述均為基於公開資料的定性推斷，不確定處標註“公開資料未見”。）
關鍵引數
評價 TPU 的能力不能套用 GPU 世界“僅看峰值 TFLOPS”的習慣。面向真實負載的系統級效率指標更為關鍵：
- 模型 FLOPS 利用率：衡量晶片實際用於矩陣乘加的有效算力佔理論峰值算力的比例。得益於脈動陣列與 AI 負載的高度吻合以及 XLA 編譯器的圖級最佳化，TPU 的 MFU 通常顯著高於同期 GPU 平台（具體數值因模型結構而異，Google在部分技術論文中揭露過 PaLM 等大型模型在 TPU v4 上的 MFU 資料，公開資料可查）。
- 訓練擴充套件效率：當參與訓練的晶片數量翻倍時，單步訓練時間能否接近減半。TPU 憑藉環網拓撲和 OCS 架構，在大規模叢集（如 1024 顆、2048 顆晶片）上常能報告接近線性的擴充套件效率，但這屬於特定模型和特定規模下的實測值，並非對所有負載均成立。
- 單晶片實用訓練吞吐：在特定引數量級的大語言模型（如 175B、300B+ 級別）上，TPU Pod 切片完成的每秒 Token 數或每秒序列數。該指標高度依賴模型結構、並行策略和批次大小，無法用一個固定數字概括所有代際和場景。
- 推論延遲與吞吐：線上推論場景下的 99 分位延遲和最大每秒查詢數。對於大語言模型的生成式推論，注意力機制的 KV 快取管理、記憶體頻寬和批次排程策略對延遲和吞吐的影響往往比裸算力更大。
- 能效比：每瓦功耗下可提供的有效算力，以 TOPS/W 衡量。定製 ASIC 在此指標上相對同期 GPU 通常存在結構性的優勢空間，但具體優勢幅度取決於代際、工藝和對比基準的選擇。
（注：各代 TPU 的具體峰值算力、記憶體容量、互聯頻寬等規格引數，Google在每代產品釋出時通過 Cloud 文件和部落格選擇性揭露。本文不編造未經官方確認的詳細規格表。）
技術路線
TPU 的演進脈絡可以概括為“從推論專用到訓練推論一體，從單板卡到萬卡級叢集，從電交換到光交換”。
- 第一代：推論專用，INT8 脈動陣列，PCIe 插卡形態，部署於Google內部資料中心，支撐語音搜尋、影像識別、機器翻譯等線上服務。在 2017 年公開發表的 ISCA 論文中，Google揭露 TPU v1 在其負載上的每瓦效能比同期 CPU/GPU 高出一個數量級以上。
- 第二代：首次加入訓練能力，支援 BF16 浮點格式，以多晶片叢集形態通過 Cloud TPU 對外提供算力服務。AlphaGo Zero 等標誌性專案在 TPU v2 叢集上完成訓練。
- 第三代：算力相比 v2 翻倍，引入液冷散熱以提高單位機架空間的功率密度和持續效能。液冷成為此後 TPU 叢集的標準散熱方案。
- 第四代：架構上最重要的分水嶺。引入光電路交換技術重構叢集互聯，Pod 規模彈性大幅擴充套件。TPU v4 廣泛用於訓練 PaLM 等千億引數級大語言模型，單叢集規模達到 4096 顆晶片。
- 第五代（v5p）：v5 系列中的高效能型號，單晶片算力、HBM 容量和互聯頻寬較 v4 再度大幅提升，用於 Gemini Ultra 等前沿大型模型的訓練。
- 第六代 Trillium：針對大語言模型和混合專家架構做了深層最佳化，進一步提升訓練和推論的每美元效能。作為當前最新代次，公開可用的詳細規格仍不完整，部分關鍵引數Google暫未揭露。
上游
TPU 產業鏈上游主要包括晶片設計、製造、記憶體和互聯元件四大領域。由於Google對供應鏈資訊嚴格保密，以下分析基於行業普遍推測，不確定處已標註：
- 晶片設計：核心架構設計和 RTL 開發由Google內部晶片團隊完成，“公開資料未見”確切的團隊規模和分工細節。物理設計、後端實現和部分 IP 整合“可能”引入外部 ASIC 設計服務商（如博通、Marvell 等），但Google從未官方確認過具體合作伙伴身份及合作範圍。
- 製造與封裝：先進製程代工“據行業推測”高度依賴台積電或其競爭廠商，但Google未公開代工廠商和製程節點。先進封裝技術“極可能”採用 CoWoS 或類似方案以整合超大容量 HBM 和晶片間互聯介面，同樣未獲官方確認。
- 高頻寬記憶體：TPU 歷來以搭載超大容量 HBM 著稱，是 HBM 市場的重要需求方之一。供應商涵蓋 SK 海力士、三星、美光等 HBM 主力廠商，但各代 TPU 的具體容量、位寬、堆疊層數和供應商份額“公開資料未見”。
- 光交換與互聯元件：TPU v4 起引入的光電路交換系統涉及自研光模組或深度定製方案，其光器件、高速 SerDes IP 和電路交換晶片的供應體系“公開資料未見”完整資訊。
下游
TPU 的算力消費端分為三個層次：
- Google內部生產環境：這是 TPU 最大的部署場景。Google搜尋排名、廣告推薦、YouTube 影片理解、Google Photos 影像分析、Google Translate 神經機器翻譯、Gemini 大型模型家族的訓練與推論等核心業務，每日承載萬億次級別的推論呼叫和大規模訓練任務。Google未單獨揭露內部各部門的 TPU 消耗量和算力分配比例。
- Google雲端對外算力服務：通過 Cloud TPU 產品向外部客戶提供從單顆 TPU 到整個 Pod 切片的算力租用。客戶涵蓋前沿 AI 實驗室和創業公司。Midjourney 的影像生成模型、Anthropic 的部分大型模型訓練（具體依賴比例未公開）、Stability AI 的模型訓練等均曾不同程度使用 Cloud TPU。此外，通過 TPU 研究雲端計劃向學術界提供免費算力配額，覆蓋全球多所高校和研究機構的 AI 專案。
- 生態間接拉動：使用 TPU 的客戶往往同步消費Google雲端的儲存、網路、資料分析和 AI 平台等附加雲端服務，形成以算力為錨點的綜合雲端消費。這部分間接拉動的營收體量“公開資料未見”精確揭露。
受益公司
由於 TPU 不外售，不存在純粹的“TPU 概念股”，其受益邏輯以間接對映為主。所有對映關係需結合公開資訊謹慎判斷，不應被簡單理解為“業績必然受益”的結論。
- 直接受益——Alphabet：Google是 TPU 的唯一設計者和運營者。TPU 降低了大型模型訓練與推論的內部算力成本，構成Google雲端 AI 基礎設施差異化的核心賣點。若 TPU 生態成功擴大Google雲端在 AI 原生客戶中的滲透率，雲端業務營收的增長將直接反映在 Alphabet 的財務報表中。
- 供應鏈間接對映：基於行業推測，TPU 的持續放量可能關聯到 HBM 供應商的需求增長（具體受益幅度取決於 TPU 出貨量佔 HBM 總需求的比例，無公開資料可查）；可能涉及先進封裝產能的消耗（與 NVIDIA、AMD、英特爾等一同構成對 CoWoS 產能的總需求，TPU 佔比無法單獨量化）；可能關聯到為 ASIC 設計提供後端服務和 IP 的廠商（具體合同關係和營收貢獻未公開）。
- 競爭格局間接影響：TPU 的強勢在理論上對 NVIDIA 在超大規模雲端客戶訓練市場的議價環境構成邊際壓力，但 NVIDIA GPU 面對的客戶群體和應用場景遠超Google一家，單一因素的實際影響有限，無法量化。同時，TPU 的迭代速度對同樣走自研 ASIC 路線的雲端廠商構成競爭標尺，加速全行業自研晶片的軍備競賽。
（注：本節不構成任何形式的投資建議或個股推薦。所有供應鏈關係的描述均基於公開報道和行業分析推測，未經Google及其合作方官方證實。）
市場規模
TPU 不直接參與 AI 晶片的公開市場銷售，因此無直接對應的晶片銷售營收口徑。其間接市場影響體現在兩個維度：
- 雲端算力服務市場：全球 AI 雲端基礎設施市場規模持續快速擴大。據第三方機構 Omdia 和 IDC 的估算，2023 年 AI 雲端服務總支出約數百億美元量級（口徑含 IaaS 和 PaaS 中的 AI 算力部分），且年增速維持在較高水平。Google雲端在此市場中的份額逐步擴大，TPU 是其 AI 差異化定位的重要支撐，但Google從未單獨揭露由 TPU 直接貢獻的雲端營收金額。
- AI 加速器總需求市場：據 Mercury Research 和第三方報告估計，2023 年全球資料中心 AI 加速器市場中，NVIDIA 以 80%–90% 的營收份額佔據絕對主導，定製 ASIC（含 TPU、Trainium/Inferentia 等）合計佔比呈現上升趨勢。TPU 因不計入銷售營收，在營收口徑下無法直接體現，但在算力部署量口徑下，據 SemiAnalysis 等分析機構估計，Google自研 TPU 已是超大規模雲端廠商內部部署量最大的單一算力來源之一（此估計基於對Google資料中心規模和自研晶片部署節奏的推測，非官方資料）。
TPU 間接拉動的產業鏈上游包括：HBM 需求持續旺盛、先進封裝產能供不應求、高速光器件和 SerDes IP 需求增長，這些維度的市場增量“無公開口徑可單獨歸因至 TPU”。
玩家對比
將 TPU 與同期主流 AI 加速方案做定性比較，有助於理解其差異化價值與侷限。表中描述為各代際的概括性特徵，不錨定某一具體型號。
| 維度 | TPU | NVIDIA GPU | 其他雲端廠商自研 ASIC |
|---|---|---|---|
| 設計理念 | 脈動陣列 ASIC，高度繫結自有架構 | 通用 GPU，CUDA 生態全面覆蓋 | 專用加速器，繫結自有 SDK |
| 主力數值格式 | BF16、INT8、部分支援 FP8 | FP64 至 FP8 全譜系 | BF16、FP8 等定製格式 |
| 單晶片峰值算力 | BF16/INT8 極高，捨去非 AI 功能 | 同等工藝下峰值與 TPU 可比 | 強調實際負載跑分而非峰值 |
| 記憶體系統 | 超大容量 HBM，專為 MXU 最佳化 | HBM 容量頻寬逐年迭代 | 容量可能低於同期 GPU |
| 晶片互聯 | 自研 ICI+OCS 光交換，高環網頻寬 | NVLink+InfiniBand/Spectrum-X 雙層 | 自研高速互聯 |
| 軟體生態 | 封閉但縱向最佳化極深 | 開放 CUDA，生態最廣最成熟 | 封閉或半開放 |
| 供應模式 | 僅 Google Cloud 租用 | 晶片/板卡/整機/雲端多形態對外銷售 | 僅對應雲端服務租用 |
| 適用場景 | Google自有超大規模 AI+雲端客戶 | 全行業 AI 訓練推論+HPC | 各自雲端客戶的訓練推論 |
（注：表中比較為定性歸納，不可作為採購或投資決策的量化依據。）
風險
- 生態鎖定風險：TPU 與 TensorFlow/JAX/XLA 生態高度耦合，對 PyTorch 的支援雖有
torch_xla橋接，但相容性、除錯便利性和社群支援仍落後於 CUDA 生態。客戶如果將核心訓練管道深度繫結至 TPU，未來若需遷移至其他平台將面臨高昂的工程成本。部分潛在客戶可能因此選擇保持 GPU 依賴以維持跨雲端遷移的靈活性。 - 模型架構演變風險：TPU 的硬體設計圍繞密集矩陣乘法做極致最佳化。若未來 AI 模型結構發生根本性變化（如動態稀疏、控制流密集、非矩陣運算主導的架構成為主流），TPU 的專用性可能從優勢轉為劣勢，屆時 GPU 的通用性反而成為更安全的長期選擇。截至 2025 年初，混合專家架構依然是權重固定的矩陣運算，TPU 的適應性仍屬優良，但長期趨勢無法預測。
- 供應與可得性風險：TPU 最新代次（如 Trillium）在Google雲端部分割槽域的供應時常處於緊張狀態，部分客戶可能遇到排隊等候的情況（此為使用者社群反饋，非Google官方 SLA 承諾）。訓練進度的延遲會轉化為隱性成本，在總擁有成本比較中需要納入考量。
- 單供應商風險：使用 TPU 意味著在晶片、架構、雲端平台三個層面同時鎖定Google一家供應商，這與多雲端戰略和供應商多樣化原則存在衝突，構成部分企業客戶在合規和業務連續性層面的顧慮。
- 技術迭代節奏風險：TPU 的迭代節奏由Google內部研發路線圖決定，對外不公開產品路線圖。客戶無法像購買 GPU 那樣根據 NVIDIA 公開揭露的路線圖進行提前規劃。Google某代 TPU 與實際負載需求之間是否匹配，客戶只能被動接受。
誤讀糾偏
誤讀一：“TPU 就是Google版的 GPU，可以直接無縫跑 PyTorch。”
真實情況：TPU 在硬體層面是為 XLA 計算圖設計的，對 PyTorch 的支援通過 torch_xla 中間層橋接實現，並非原生。多數 PyTorch 模型需一定程度的程式碼適配才能在 TPU 上高效執行，部分運算元不相容或效能退化，除錯體驗與 GPU 上的原生 PyTorch 存在明顯差距。將 TPU 視為 GPU 的即插即用替代品會嚴重高估其通用性。
誤讀二：“TPU 不外售等於沒有商業價值，只能服務Google內部。”
真實情況：TPU 的商業價值不以晶片銷售營收體現，而是通過 Cloud TPU 的算力租用服務實現。Midjourney 等大型外部客戶在 TPU 上的消費直接貢獻Google雲端營收，並同步拉動儲存、網路等附加雲端服務的消費。其商業模式是“賣鏟子”的雲端算力模式，而非晶片銷售模式。
誤讀三：“TPU 能效很高，所以訓練大型模型一定比 GPU 省錢很多。”
真實情況：總擁有成本除了硬體能效外，還包括人力適配成本、供應緊張導致的等待時間成本、生態鎖定的隱性轉換成本等。雖然 TPU 的 MFU 往往高於同期 GPU，特定條件下每美元有效算力確實可能更優，但這一優勢是有條件的，不可跨模型、跨場景做簡單外推。
最新事件
- 2024 年底，Google第六代 TPU“Trillium”正式面向雲端客戶開放，宣稱在大語言模型和混合專家架構上實現更高的訓練和推論價效比。截至 2025 年初，詳細的獨立第三方基準測試結果尚不完整，“公開資料未見”與同期競品（如 NVIDIA B200）在標準化負載下的橫向對比資料。
- Google Gemini 2.0 系列模型的訓練大規模使用了 TPU v5p 和 Trillium 叢集。Google在官方部落格中提及了部分訓練基礎設施細節，但未揭露節點數量、總耗時和總能耗等完整資訊。
- Google雲端持續擴充套件 Cloud TPU 的區域覆蓋範圍，新增多個區域提供 v5p 和 Trillium 例項。具體可用區域和機型見Google雲端官方文件。
- 競爭對手動態：亞馬遜 Trainium2 於 2024 年底進入量產部署階段，微軟 Maia 100 首次公開用於 Azure AI 負載，Meta 持續推進自研 MTIA 推論晶片。超大規模雲端廠商的自研 ASIC 競爭在 2024–2025 年明顯加速，TPU 的先發優勢面臨來自多方的追趕壓力。
追蹤指標
持續追蹤 TPU 的關鍵指標不應侷限於Google偶爾公開的峰值算力數字，建議從以下維度系統性觀察：
- Google雲端 AI 業務營收：Alphabet 財報中“Google Cloud”業務線的營收增速、AI 相關營收的定性描述和管理層電話會議中對 AI 基礎設施需求的展望，是間接評估 TPU 商業貢獻最可靠的公開資料來源。
- 新一代 TPU 的公開基準：關注Google在 MLPerf 等標準基準測試中的提交結果，以及與同期 NVIDIA GPU 在相同負載上的對比。MLPerf 的訓練和推論結果按輪次公開發布。
- Google發表的大型模型訓練論文：Google在發表 Gemini、PaLM、Gemma 等模型技術報告時通常附帶訓練基礎設施和系統效率的部分資料，是瞭解 TPU 實際系統性能的重要視窗。
- 外部客戶生態進展：關注重要 AI 創業公司（如 Anthropic、Midjourney、Character.AI 等）與Google雲端的算力合作動態，包括是否擴大 Cloud TPU 使用規模、是否引入多供應商策略等。
- 供應鏈動向：HBM 出貨量展望、先進封裝產能分配格局、代工廠對“定製 ASIC 客戶”的營收揭露，間接反映 TPU 及其他自研晶片的擴產節奏。此類資訊需通過半導體廠商的財報和行業報告追蹤，不可直接等同於 TPU 資料。
- Google資本支出與資料中心建設：Alphabet 季度資本支出中的“技術基礎設施”部分，結合Google全球資料中心擴張公告，判斷其對自研算力的長期投入力度。
信源
- Norman P. Jouppi et al. “In-Datacenter Performance Analysis of a Tensor Processing Unit.” ISCA 2017. Google官方發表的 TPU v1 系統論文，為公開可查的一手技術文獻。
- Google Cloud 官方文件中關於 Cloud TPU 的架構說明、程式設計指南和效能調優建議，隨產品迭代持續更新。
- Google AI Blog 和 Google Cloud Blog 中各代 TPU 的釋出公告及相關技術說明（v2 至 Trillium）。
- Google Research 發表的 PaLM、Gemini、Gemma 等模型技術報告，其中部分章節涉及訓練基礎設施和系統效率資料。
- MLPerf 官方公佈的訓練和推論基準測試結果資料庫，按組織分類可篩選Google提交的 TPU 相關結果。
- SemiAnalysis 對 TPU v4、v5p 的硬體逆向分析及供應鏈調查文章。該類分析非官方資訊，可靠性有限，僅作供應鏈層面的定性參考。
- Omdia、IDC、Mercury Research 等第三方機構關於 AI 加速器市場和雲端 AI 基礎設施市場的行業報告，相關資料口徑以上述機構釋出的正式報告為準。
- 註釋：本文涉及的供應鏈關係、財務資料、市場佔有率等資訊，凡未標註具體來源和年份口徑的，均屬公開資料未見確切資料，請以Google Alphabet 官方財報、Google雲端官方文件及上述學術論文和機構報告為最終依據。