處理元素
1 3 秒看懂
核心定義:處理元素(Processing Element, PE)是計算晶片(如 CPU、GPU、AI 加速器)內部,實際執行算術邏輯運算的最小功能單元。可以將它理解為一個微縮的、專職的“計算工人”。
關鍵要義:晶片的平行計算能力,本質上取決於兩個變數——內部整合的 PE 總數量,以及單個 PE 在單位時間內的有效運算效率。以下全文將圍繞這兩個變數展開。
2 3 分鐘產業解釋
在 AI 晶片領域,PE 是衡量計算能力的微觀基石。當一顆 AI 晶片宣稱擁有數百 TOPS(Tera Operations Per Second, 每秒萬億次運算)算力時,這背後是數萬乃至數百萬個 PE 在同一時鐘週期內協同工作的結果。
產業視角下,PE 之所以成為競爭焦點,基於以下四層邏輯:
- 效能源頭:晶片總算力可近似表達為
PE 數量 × 單 PE 每週期運算元 × 工作頻率 × 有效利用率。提升任何一個因子,都是晶片設計公司的核心工程課題。 - 架構靈魂:不同型別晶片(CPU、GPU、TPU、NPU)的根本分野,在於 PE 的微架構設計(如是否採用脈動陣列 Systolic Array)、互聯拓撲(Mesh、Ring、Crossbar)和記憶體層次(暫存器→本地快取→共享快取→片外記憶體)的差異。PE 的組織形式,定義了晶片的“性格”。
- 成本與功耗核心:在先進製程 AI 晶片中,PE 陣列通常佔據裸片(Die)面積的 40%–70%,並貢獻了絕大多數動態功耗。最佳化 PE 的 PPA(效能 Performance、功耗 Power、面積 Area),直接決定晶片的商業可行性。
- 軟體對映目標:深度學習編譯器(如 TVM、XLA)的核心任務,就是把一個神經網路計算圖(如 Transformer 的矩陣乘),高效地“切分”並“排程”到成百上千個 PE 上執行。硬體架構與軟體演算法的“握手”發生在 PE 這一層。
簡言之,PE 是理解 AI 算力從“沙子(矽)”到“服務(雲端算力)”價值鏈條的微觀起點。
3 技術原理
PE 的本質是一臺微縮的、高度精簡的馮·諾依曼機,但所有設計取捨都圍繞資料平行計算展開。本節從計算基礎、典型 PE 微架構、資料流機制三個維度進行拆解。
3.1 計算基礎:一切圍繞 MAC
無論上層神經網路有多複雜(卷積、Transformer 自注意力、推薦系統 Embedding),一旦被編譯器分解為底層運算元,最終都有 95% 以上的操作歸結為乘加運算(Multiply-Accumulate, MAC):
output = (input_a × input_b) + accumulation
因此,PE 的核心使命是以最高能效完成 MAC 操作。衡量 PE 原始效能的指標,正是其單位時間(通常為每時鐘週期)可完成的 MAC 次數。
3.2 脈動陣列 PE 的典型工作機制
脈動陣列(Systolic Array)是當前 AI 加速器(如 Google TPU 系列、華為昇騰 Da Vinci 架構)中 PE 組織的主流範式。以一個抽象的二維脈動陣列為例,其工作流程如下:
┌─────────────────────────────┐
輸入 B → │ ┌───────────┐ 傳播 B → │
(來自上方) │ │ │ (至下方) │
│ │ ┌─────┐ │ │
輸入 A → │ │ │ MAC │ │ 累加和 │
(來自左方) │ → │ │單元 │ │ ↓ (來自上方) │
│ │ └─────┘ │ │
│ └───────────┘ │
└─────────────────────────────┘
典型 PE 資料流示意圖
工作機制詳解:
- 權重複用(Weight Stationary):權重資料(B)被預載入至 PE 內部暫存器並保持駐留(部分架構也採用輸出駐留或輸入駐留策略)。
- 資料脈動:啟用值(A)從左方 PE 流入,每個時鐘週期向右傳遞;部分和(Partial Sum)從上向下流動並累加。
- MAC 執行:每個 PE 於同一時鐘沿完成
A × B + 累加,結果存入內部累加暫存器。 - 極高資料複用:輸入資料(A)被左側 PE 使用後,繼續向右傳遞供右側 PE 使用,無需反覆從全域性快取讀取。這顯著降低了片上資料搬運的能耗(通常資料搬運能耗遠高於計算本身)。
公開資料未見統一的脈動陣列控制流實現標準。Google TPU 採用 “CISC 指令 + 固定資料流”,華為昇騰 Da Vinci 架構則引入 “3D Cube” 結構以融合張量計算——這些屬於企業核心智慧財產權。
3.3 現代 PE 的組成模組
一個典型 AI 加速器 PE(非 CPU/GPU 那種複雜 PE)包含以下子系統:
| 模組 | 功能 | 技術特徵 |
|---|---|---|
| MAC 單元 | 執行乘加核心運算 | 通常支援 INT8/FP16/BF16;部分設計支援稀疏跳零 |
| 暫存器堆 | 暫存權重、啟用值、部分和 | 容量通常為幾十至數百位元組,接近 SRAM 速度 |
| 本地控制邏輯 | 解碼指令、控制資料通路選擇 | 極為精簡,遠低於 CPU 的分支預測單元 |
| 資料路由介面 | 與相鄰 PE 及片上網路(NoC)互動 | 實現脈動傳遞、多播、歸約等通訊模式 |
來源宣告:本節 PE 內部結構描述基於 ISCA、MICRO 等學術會議公開論文及已批專利的資訊綜合,不指向任何公司未公開的實現細節。
4 關鍵引數
評估 PE 及其所構成的算力叢集,需關注的引數可分為宏觀規模引數與微觀效率引數。
4.1 宏觀規模引數
- PE 總數:晶片整合的 PE 核心數量。2024 年公開資料顯示,高階雲端端 AI 晶片(如輝達 H200、華為昇騰 910B 等)內部 PE 數量均達萬級至數十萬級,確切數量因涉及商業機密,公開資料未見統一口徑。
- 峰值算力(Peak TOPS):所有 PE 在理想狀態下每秒可完成的理論最大運算元。需嚴格標註資料精度(INT8 算力通常是 FP16 的 2 倍)和稀疏算力(支援 2:4 結構化稀疏的晶片,峰值可再翻倍)。示例:某晶片宣稱 400 TOPS@INT8,其中可能含 200 TOPS@FP16。
- PE 陣列維度:如 “128×128 Systolic Array”,直接決定了可高效執行的矩陣乘粒度。
4.2 微觀效率引數
- 計算密度(TOPS/mm²):單位矽面積的峰值算力。根據公開產業鏈分析(如 SemiAnalysis 2023 年報告),台積電 4nm/5nm 製程下高階 AI 晶片計算密度約 0.8–1.5 TOPS/mm² (INT8)。該數值隨製程進步而提升,但受限於散熱和功率密度。
- 能效比(TOPS/W):每瓦功耗可輸出的算力。根據 MLPerf 基準及行業估算,2024 年雲端端 AI 訓練晶片能效比通常低於 5 TOPS/W (FP16);邊緣推論晶片(如智慧座艙 SoC 內 NPU)可達 10–20 TOPS/W (INT8)。具體產品數值以官方 Datasheet 為準。
- 有效利用率(Utilization):實際場景中持續算力與峰值算力的比值。據 MLCommons 2024 年公開結果,主流大型模型推論場景下,部分高階 GPU 的有效利用率在 30%–60% 區間,取決於編譯器最佳化與記憶體頻寬。
- 支援數值精度譜系:覆蓋 FP64、FP32、TF32、BF16、FP16、INT8、INT4、FP8(新標準)等。精度越“低”,同面積/功耗下的 PE 峰值算力越高,但對演算法調優要求更高。
5 技術路線
PE 的設計哲學經歷了“通用逐級專用”的演進。各技術路線之間的本質差異,源於對並行度、控制複雜度、能效三者權衡的側重不同。
5.1 路線對比總覽
| 特性維度 | CPU 核心 (複雜 PE) | GPU 流處理器/核心 (簡化 PE) | AI 加速器 PE (專用 PE) | FPGA 邏輯單元 (可程式設計 PE) | | :--- | :--- | :--- | :--- | :--- | | 設計哲學 | 通用性、低延遲 | 大規模資料並行、高吞吐 | 領域專用架構(DSA) 極致能效 | 硬體可重構、靈活 | | PE 複雜度 | 高 含分支預測、亂序執行 | 中等 含向量 ALU、特殊函式單元 | 中到低 以 MAC 為主,控制極簡 | 低 基於查詢表(LUT) | | 單晶片 PE 規模 | 數十至百餘核 | 數萬核 | 數千至數十萬 PE | 取決於設計,可達百萬級 LUT | | 控制與排程 | 強,作業系統級排程 | 弱,SIMT/SIMD 統一排程 | 極弱,資料流/編譯器靜態排程 | 靈活,可定製狀態機 | | 能效比 | 低(約 0.1-1 TOPS/W 級)| 中高(約 1-5 TOPS/W 級)| 極高(約 5-20 TOPS/W 級)| 中(約 0.5-2 TOPS/W 級)| | 核心適用場景 | 作業系統、資料庫、複雜邏輯 | 圖形渲染、通用平行計算 | AI 訓練/推論、特定訊號處理 | 原型驗證、低延遲網路處理 |
5.2 技術演進歷史
- 通用計算時代(~2000s):PE 即 CPU 核心。Intel Pentium 至 Core 架構的演進,圍繞指令級並行(ILP)、流水線深度與快取層次展開。
- 平行計算覺醒期(約 2007–2015):NVIDIA CUDA(2007 年釋出)將 GPU 重新定義為通用並行處理器。其 “流式多處理器(SM)– CUDA 核心–暫存器堆” 層次,讓 PE 從單打獨鬥走向大規模並行。
- AI 加速器爆發期(2016–至今):
- 2016–2017:Google 釋出 TPUv1 論文(ISCA 2017),脈動陣列 PE 成為 AI 專用架構的基準範式。
- 2018–2021:華為昇騰 Da Vinci 架構(2018 年釋出)、寒武紀 MLU 系列,均在脈動陣列基礎上引入 3D 張量計算或向量融合能力。
- 2022–2024:輝達 Hopper(H100, 2022 年釋出)引入 Transformer Engine(動態混合精度),本質上是在 PE 內部增加精度轉換邏輯;AMD MI300(2024 年發貨)採用 CDNA3 架構,PE 走向 Chiplet 級擴充套件。
6 上游
PE 從設計到物理實現,依賴以下層層遞進的上游技術與產業環節:
-
EDA 與 IP(設計工具層)
- 作用:使用 EDA 工具(如 Synopsys Fusion Compiler、Cadence Innovus)完成 PE 的邏輯綜合、版面配置佈線、時序收斂。
- 代表企業:Synopsys(美)、Cadence(美)、Siemens EDA(德)。中國市場亦有華大九天(公開資料未見其在先進製程 PE 設計中的具體份額)。
- 關鍵 IP 核:部分晶片公司採購第三方 MAC 單元或 SRAM IP 以加快開發週期,具體供應商依賴非公開商業協議。
-
半導體制造(晶圓層)
- 作用:將 PE 版圖刻蝕在矽晶圓上,製程節點是決定 PE 密度與功耗的第一物理約束。
- 代表企業與製程:台積電(TSMC,N5/N4P/N3 家族)、三星(Samsung,5nm/3nm GAA)、Intel(Intel 3/18A)。據 TrendForce 2024 年 Q2 資料,全球 AI 晶片先進製程(≤7nm)產能約 90% 集中於台積電。
- 關鍵裝置與材料:ASML 的 EUV 光刻機是 5nm 及以下 PE 圖形化的不可缺裝置。日系廠商在光刻膠、高純化學試劑等材料環節份額顯著。
-
先進封裝(整合層)
- 作用:將 PE 密集的 Compute Die 與 HBM 記憶體通過 2.5D/3D 封裝合封,解決 PE 到記憶體的頻寬瓶頸。
- 關鍵技術:台積電 CoWoS-S/R/L、Intel EMIB、三星 I-Cube。根據摩根士丹利 2024 年行業報告估算,2024 年全球 CoWoS 產能較 2023 年增長逾 100%,但仍為供給最緊張的環節之一。
7 下游
PE 的價值實現,通過下游各層級的產品化與服務化轉化:
-
晶片設計公司(直接整合者)
- 方式:設計含 PE 陣列的最終晶片(如 GPU、NPU、ASIC),定義 PE 數量與互聯架構。
- 代表:輝達、AMD、Intel、高通、華為海思、寒武紀、Google(自用 TPU)、Amazon(自用 Trainium/Inferentia)。
-
雲端運算與網際網路巨頭(算力服務化者)
- 方式:採購/自研 AI 晶片,建置算力叢集,以 IaaS/PaaS 形式對外提供 AI 訓練與推論服務。
- 需求特徵:對 PE 的絕對效能、叢集可擴充套件性、記憶體頻寬要求極高。以萬卡級叢集為新的規劃單元(公開資訊顯示,2024 年多家雲端廠商已部署或規劃萬卡 H100 叢集)。
-
終端與邊緣裝置(嵌入式整合者)
- 方式:在智慧汽車 SoC(如 NVIDIA Orin、高通 8295 內建 NPU)、手機 AP(如 Apple A17 Pro Neural Engine)、工業相機中嵌入 PE 叢集。
- 需求特徵:對 PE 的功耗上限和即時性極為敏感,追求高 TOPS/W 和低延遲。
-
演算法與軟體生態(需求定義者)
- 邏輯:演算法模型架構的變化,直接傳導為對 PE 支援精度、稀疏模式、運算元型別的需求。例如,Transformer 大型模型催生了 FP8 精度和 FlashAttention 運算元的硬體最佳化。
8 受益公司
圍繞 PE 的價值鏈,受益公司可分為四個層次。宣告:以下內容為客觀商業結構與技術角色分析,不構成任何形式的投資建議。
8.1 架構設計龍頭
- 輝達(NVIDIA, 美):通過 Hopper、Blackwell 等 GPU 架構定義通用 PE 計算範式,依託 CUDA 生態鎖定開發者。
- Google(美):TPU 系列首創脈動陣列 PE,以雲端服務形式內部大規模部署。據公開資訊,TPU v5p 已部署於其 AI 超算。
- 華為海思(中):昇騰系列採用自研 Da Vinci 架構,覆蓋端邊雲端。
- 寒武紀(中):思元系列 MLU 架構持續迭代,面向雲端端及邊緣推論。
8.2 製造與封裝瓶頸環節
- 台積電(TSMC, 中國臺灣):承接全球絕大多數先進 AI 晶片晶圓代工及 CoWoS 封裝訂單。
- ASML(荷):獨家供應 EUV 光刻機,裝置交付量決定全球先進 PE 產能擴充套件節奏。
- SK 海力士 / 三星 / 美光(韓/美):HBM 記憶體供應商。HBM3E 已成 H200/B200 標配,其產能直接影響高階 PE 叢集交付。據 TrendForce,2024 年 HBM 市場 SK 海力士與三星兩家市佔率合計逾 90%。
8.3 國產替代關鍵節點
- 中芯國際(SMIC):先進製程能力受限,但為部分中端 AI 晶片提供製造。
- 通富微電 / 長電科技:國內先進封裝核心企業,承接部分算力晶片的 2.5D/3D 封裝需求。
- 華大九天:國產 EDA 代表,公開資料未見其支撐 5nm PE 設計的明確商業化案例,但在成熟製程晶片設計中逐漸滲透。
8.4 PE 新範式探索者
- 存內計算(PIM/CIM)晶片公司、光子計算初創企業。這些公司試圖在 PE 的根本物理實現方式上突破,目前多在早期產品化階段。公開資料未見其大規模商用份額資料。
9 市場規模
本節聚焦於與 PE 強相關的 AI 晶片及上下游關鍵環節的市場規模估算。以下資料來源自第三方分析機構公開報告,口徑與年份已盡力標註。
9.1 AI 晶片市場規模(直接市場)
- 全球 AI 晶片市場:據 Gartner 2024 年 Q1 報告預測,2024 年全球 AI 晶片營收約 670 億美元(口徑:含 GPU、NPU、ASIC 等所有面向 AI 工作負載的晶片),年增率增長逾 25%。其中,近 80% 份額由輝達佔據(依據 Mercury Research 與公司財報交叉估算)。
- 中國 AI 晶片市場:據 IDC 中國 2024 年報告,2023 年中國加速計算(AI 晶片為首)市場規模約 140 億美元(約合人民幣 1000 億元),預計 2024–2027 年 CAGR 約 30%。
9.2 上游環節關鍵數字(2023–2024 年)
- 先進封裝(CoWoS):據摩根士丹利 2024 年半導體行業報告,2023 年臺積電 CoWoS 產能約 16 萬片/年(等效 12 寸晶圓),2024 年擴至 35 萬片/年以上。因 PE 晶片對 CoWoS 需求遠超供給,該市場至 2025 年前仍處嚴重供不應求。
- HBM 記憶體:據 TrendForce 2024 年 Q2 資料,2024 年全球 HBM 市場規模預計達 180 億美元,其中 80% 以上與 AI 加速器 PE 配套使用。
9.3 資料口徑提示
- “AI 晶片”定義口徑不一:部分統計含邊緣推論 SoC(帶 NPU),部分僅含雲端端加速卡。引用時需注意。
- 所有市場預測性資料均含顯著不確定性,最終以各公司財報揭露及官方統計為準。
10 玩家對比
選取四類 PE 架構的典型代表,從技術維度進行橫向對比(資訊截至 2024 年 Q3,基於官方白皮書及行業分析)。
| 維度 | 輝達 H200 GPU | Google TPU v5p | 華為昇騰 910B | 寒武紀 思元590 |
|---|---|---|---|---|
| PE 組織架構 | SM 流式多處理器 | |||
| (含 Tensor Core) | 二維脈動陣列 | |||
| (估計規模 128×128 量級) | Da Vinci 架構 | |||
| 3D Cube 單元 | MLUarch 智慧處理器 | |||
| 多簇並行 | ||||
| **峰值算力 | ||||
| (公開規格)** | ~989 TFLOPS (FP8 稀疏) | |||
| ~495 TFLOPS (FP8 稠密) | 公開資料未見統一峰值 TOPS | |||
| (Google 以 FLOPs/模型吞吐量公開) | ~320 TFLOPS (FP16) | |||
| ~640 TOPS (INT8) | ~256 TFLOPS (FP16) | |||
| ~512 TOPS (INT8) | ||||
| 記憶體頻寬 | 4.8 TB/s (HBM3e) | 公開資料未見確切數值 | ||
| (據估算≥2 TB/s,HBM) | 公開資料未見確切數值 | |||
| (HBM2e 級別) | 公開資料未見確切數值 | |||
| (HBM2e 級別) | ||||
| 關鍵互連 | NVLink 5.0 + InfiniBand | Google 自研 ICI 超高速互連 | HCCS 高速互連 | MLU-Link |
| 軟體生態 | CUDA 極強鎖定 | 通過 JAX/TensorFlow | ||
| 內部閉環 | CANN + 昇思 MindSpore | Cambricon Neuware | ||
| 主要部署場景 | 全球雲端/企業級訓練推論 | Google Cloud 內部訓練推論 | 國內雲端/政企/運營商 | 國內雲端/金融/網際網路 |
注意事項:TPU v5p 等內部部署產品,大量技術引數未被Google完整公開,表中估算值來自 Semianalysis、The Next Platform 等第三方分析。引數以各公司官方最新 Datasheet 為準。
11 風險
對圍繞 PE 的任何商業或技術版面配置而言,需關注以下風險維度:
11.1 技術風險
- 記憶體牆(Memory Wall):PE 算力增速遠超記憶體頻寬增速。2024 年主流 HBM 頻寬約 4.8 TB/s,而萬級 PE 所需的理論頻寬可達數十 TB/s。若無法突破,PE 利用率將持續受限。
- 功耗牆與散熱:單晶片 TDP 已達 700–1000W(如 H200 SXM 為 700W,B200 據稱達 1000W),逼近風冷散熱極限。液冷成為剛性需求,增加部署複雜性與成本。
- 互聯瓶頸:PE 片內與片間互聯若設計不當,會在大規模叢集(萬卡級)下出現嚴重通訊擁塞,導致實際總算力增長遠低於 PE 數量增長。
- 先進製程依賴:頂級 PE 晶片高度依賴 5nm/3nm 製程。地緣政治或自然災害導致的單點供應中斷,將造成代際性影響。
11.2 供應鏈風險
- CoWoS 產能風險:2024–2025 年,台積電 CoWoS 是 AI 晶片交付總量的決定性約束。任何產能爬坡不及預期將直接推遲晶片交付。
- HBM 供應集中:HBM 供應高度集中於 SK 海力士、三星兩家。競爭格局或產能事故可能引發全球 AI 晶片出貨波動。
- 地緣政策不確定:特定國家對先進晶片製造裝置、EDA 工具的出口管控,可能改變 PE 技術路線的可行性。
11.3 市場與商業風險
- 需求週期性波動:雲端運算公司 CAPEX 具有周期性。若 AI 應用的商業回報低於大規模基礎設施投入的預期,可能出現算力投資階段性放緩。
- 架構替代風險:存內計算、光子計算等在能效比上可能實現顛覆性突破。若此類新範式提前成熟,可能快速侵蝕傳統數字 PE 的市場。
12 誤讀糾偏
-
誤讀一:“PE 就是 ALU(算術邏輯單元)。”
- 糾偏:這是對現代晶片設計的嚴重簡化。ALU/MAC 單元只是 PE 的執行部件。一個完整的 PE 包含 MAC、暫存器、本地控制邏輯和互聯介面,構成微型的“取指-執行-寫回”閉環。將 PE 等同於 ALU,類似於將整間工廠等同於一個擰螺絲的機械臂。
-
誤讀二:“PE 數量越多,晶片算力就一定越強。”
- 糾偏:PE 數量是算力的必要但不充分條件。實際晶片算力 ≈ PE 數量 × 單 PE 效率 × PE 利用率 × 頻率。如果記憶體頻寬不足或編譯器排程低效,大量 PE 將處於“等待資料”的空轉狀態。衡量晶片質量的關鍵,不是標稱 PE 數量,而是 MLPerf 等實際業務基準下的有效吞吐量。
-
誤讀三:“只要用最先進製程,PE 能效自然就高。”
- 糾偏:先進製程是能效的重要放大器,但不是全部。PE 微架構設計——特別是資料複用策略和本地快取層次——對能效的影響常常比製程本身更顯著。一個優秀架構在落後一代製程上,完全可能實現優於平庸架構的能效比(以 TOPS/W 計)。
-
誤讀四:“CPU PE 已無價值,應全部由 GPU/AI PE 取代。”
- 糾偏:二者分工不同。CPU PE(核心)專長於複雜控制流、分支密集的任務(如資料庫查詢、作業系統排程);GPU/AI PE 專長於資料流規則、計算密集的任務(如矩陣乘)。大規模系統中二者並存,AI 伺服器仍需強大 CPU 進行推論前的資料預處理和結果後處理。
13 最新事件
事件時效範圍:本段落聚焦 2024 年公開可查的產業動態,反映 PE 競爭的最新演進。
-
輝達 Blackwell B200 釋出(2024 年 3 月)
- 事件:GTC 2024 上釋出 B200 GPU,採用雙 Die 合封,搭載第二代 Transformer Engine 並引入 FP4 精度。預估在 2080 億電晶體中,PE 陣列(Tensor Core)面積與算力再創新高。
- 意義:標誌著 PE 資料精度繼續向超低精度(FP4)下探,同時 Chiplet 方式突破單 Die 面積極限。
-
Google TPU v5p 全面可用(2024 年)
- 事件:Google Cloud 宣佈 TPU v5p 於 2024 年面向部分客戶正式可用。首次在 Google TPU 中強調 Chiplet 架構和液冷。
- 意義:PE 叢集的訓練可擴充套件性成為 Google 內部大型模型(Gemini)的核心推手,且 Chiplet 化趨勢與 GPU 路線趨同。
-
華為昇騰 910C 傳聞與國內算力基建
- 事件:2024 年,國內多家網路媒體引述產業鏈訊息提及昇騰系列新品規劃。具體規格公開資料未見官方確認。
- 意義:國內 PE 晶片供應將持續依賴先進封裝國產化程序。多座城市釋出智算中心建設規劃,明確要求國產 PE 晶片採購比例。
-
頭部雲端廠商自研 PE 晶片加速
- Amazon 的 Trainium2、Microsoft 的 Maia 100 於 2023 年末至 2024 年陸續進入量產或部署階段。均面向大型模型最佳化 PE 設計。這顯示 PE 晶片市場的垂直整合趨勢:下游雲端廠商通過自研實現 PE 架構的個性化。
14 追蹤指標
持續理解 PE 行業發展,可從以下可驗證的量化或事件指標入手:
- 公開基準成績:每半年追蹤 MLPerf Inference / Training 排行榜中,各晶片在主流模型(GPT、BERT、Stable Diffusion)上的每瓦效能和單位算力吞吐量,這是 PE 有效效率的終極公開標尺。
- 台積電 CoWoS 月產能資料:通過台積電法人說明會(每季度)公佈的先進封裝營收年增率,推測 PE 的總供給瓶頸是否緩解。
- HBM 合約價與交期:通過 DRAM 原廠揭露的 HBM 營收佔比和合約價,反推下游 PE 晶片的景氣度。
- 旗艦晶片面積與電晶體密度估算:每當輝達、AMD 等釋出新架構,由第三方機構(如 TechInsights)進行晶片級逆向分析,得出 PE 陣列的面積佔比、SRAM 佔比、計算密度(TOPS/mm²)變化。
- 存內計算/光子計算企業原型驗證節點:透過 Nature、ISSCC、Hot Chips 論文,關注新範式 PE 能否達到“超越數字 PE 能效 1 個數量級”的里程碑。
- 雲端運算廠商 AI 例項更新週期:如 AWS、阿里雲端提供的 AI 例項中包含的 GPU/NPU 代際與規模,反映下游對 PE 晶片的採購和部署節奏。
15 信源
本文技術描述、行業分析與估算資料基於以下來源,並儘量標註年份與公開可查路徑。
學術論文與會議
- Jouppi, N.P., et al. “In-Datacenter Performance Analysis of a Tensor Processing Unit.” ISCA 2017. (TPU v1 脈動陣列 PE 的奠基文獻)
- Hennessy & Patterson. Computer Architecture: A Quantitative Approach, 6th Edition, 2017. (PE 設計基礎理論)
公司官方出版物
- NVIDIA. “NVIDIA H200 Tensor Core GPU Architecture Whitepaper.” 2024.
- NVIDIA. “NVIDIA Blackwell Architecture Technical Brief.” 2024.
- Intel. “Intel Gaudi 3 AI Accelerator Architecture Brief.” 2024.
行業分析報告
- Semianalysis. 多篇關於 TPU/GPU 架構逆向與成本分析的文章(2023–2024)。[需訂閱]
- The Next Platform. 對 Hot Chips 與頂級架構的深度解讀(2023–2024)。
- TrendForce. “HBM Market Tracker Q2 2024.” (HBM 份額與規模資料)
- Morgan Stanley. “Semiconductor: AI & Advanced Packaging Update.” 2024. (CoWoS 產能與預測)
- Gartner. “Worldwide AI Semiconductor Revenue Forecast.” Q1 2024. (整體市場規模口徑)
基準與評測組織
- MLCommons. MLPerf Inference/Training v4.0 結果(2024 年上半年釋出)。[公開可查]
來源宣告
- 所有涉及具體產品的產能、良率、PE 確切數量,若未被公司正式揭露,文中均標註為“公開資料未見統一口徑”或“行業估算”。
- 本文不含任何對未來股價或營收的預測、不含投資評等、不提供買賣建議。