TOPS/W

1. 3 秒看懂

TOPS/W 是衡量 AI 加速器“單位能耗算力”的核心指標。它量化了晶片在消耗 1 瓦特電力時，能執行多少萬億次（Tera Operations）INT8 精度的整數運算。值越高，代表晶片在既定功耗約束下能提供越高的計算吞吐量，即“幹得多、吃得省”。在資料中心電費佔比 TCO 日益攀升、邊緣裝置受電池與熱設計嚴格約束的今天，該指標已取代單純的 TOPS，成為評估晶片架構、製程工藝與系統設計商業可行性的第一性原理引數。

2. 3 分鐘產業解釋

TOPS（Tera Operations Per Second，每秒萬億次運算）傳統上被用作衡量 AI 晶片峰值算力的標籤。但它存在一個致命缺陷：忽略了為達成該算力所需的功耗代價。 TOPS/W 的引入，直接回應了產業的一個根本性問題：每投入 1 瓦的電力預算，能換回多少“推論”或“訓練”的產出？

產業優先順序重構 對於部署千卡至萬卡規模叢集的雲端端推論農場，電力成本通常佔全生命週期總體擁有成本 (TCO) 的 30%–50%。在此尺度下，TOPS/W 值小數點後的微小差異，在年度電費賬單上會被放大為千萬美元級的支出差異，直接決定業務的投資回報率。對於 L4/L5 級自動駕駛域控制器或AI PC等邊緣計算產品，散熱設計功耗 (TDP) 是無法逾越的物理天花板。TOPS/W 直接劃定了，在該熱約束下，車輛能否以足夠低的延遲跑完複雜的感知-規劃-控制模型，且不會因觸發熱降頻而導致效能斷崖式下跌。

能效基準線卡位 產業中，能效標杆由不同架構共同確立。以 NVIDIA Ampere 架構的 A100 為例，其 400W TDP 下可提供 624 INT8 TOPS，TOPS/W 約 1.56。作為對照，其下一代 Hopper 架構 H100 (700W TDP) 在稠密模式下可提供 1513 INT8 TOPS，TOPS/W 升至約 2.2，若開啟 2:4 結構化稀疏，標稱能效更可突破 4.3。與此同時，專用推論晶片如 Habana Gaudi2、高通 Cloud AI 100，在同等或略低的算力區間內，能做到 24 TOPS/W 的標稱能效。手機 SoC 中的 NPU 是能效特化的極端，因其功耗預算被限制在毫瓦至數瓦級，憑藉近閾值計算等激進設計，AppleA系列、高通驍龍平台的主流產品，其能效常達到 510 TOPS/W 甚至更高，但這是以犧牲絕對算力和大容量記憶體支援為代價的。（資料來源：NVIDIA 白皮書；各廠商官網揭露資料；公開資料未見統一測試標準下的橫評資料）

3. 技術原理

TOPS/W 的物理內涵是：單位能量預算下，最大能執行多少次乘加運算 (MAC)。這從根本上受限於半導體物理、電路設計和系統架構三者如何管理電荷的搬運與轉換，其核心可抽象為一個經典的 CMOS 動態功耗公式：

P_dyn = α · C · V² · f

其中，α (活動因子)代表資料在電路節點間翻轉的機率，它受資料流排程、數值稀疏性的直接影響；C (負載電容)主要由電晶體尺寸和互連金屬長度決定，與製程工藝節點緊密相關；V (核心供電電壓)和f (時脈頻率)通常是正相關的設計變數，電壓的降低對功耗有二次方的削減效應。

提升 TOPS/W 必須逐項拆解這一公式，形成系統工程方法：

• 降低 C：製程微縮與定製化的雙重紅利。 從 FinFET 向 Gate-All-Around (GAA)/Nanosheet 電晶體演進，溝道控制能力增強，動態與靜態電容降低。同時，為 AI 加速器開發專有的高密度標準單元庫 (例如比通用邏輯庫密度高出 15%~20% 的庫)，能直接減少關鍵路徑上的物理電容。台積電 N3、N2 等節點提供的正是這種基礎增益。

• 壓低 V：多電壓域與近閾值計算的極限操作。 現代 SoC 普遍採用多電壓域 (Multi-Voltage Domain) 和動態電壓頻率調整 (DVFS) 技術，對非關鍵路徑或空閒模組施加更低的電壓或直接關閉 (Power Gating)。更進一步，近閾值計算技術將核心邏輯的供電電壓壓低至電晶體閾值電壓附近，以效能為代價換取極致的能效比，這在手機 NPU 和超低功耗感測 hub 中已廣泛應用。

• 抑制 α：結構化稀疏與啟用值門控。 減少無效的資料翻轉是降低動態功耗的關鍵。NVIDIA 從 Ampere 架構引入的 2:4 結構化稀疏，在硬體層面約定每 4 個連續權重值中至少有 2 個為零，從而通過編譯器最佳化，在不損失過多精度的前提下，近乎“免費”地將有效算力翻倍，能效相應躍升。此外，在推論過程中，利用 ReLU 等非線性函式產生的大量零值啟用，設計細粒度的門控時鐘，跳過整組 MAC 運算，直接避免了對應邏輯的動態功耗。

• 記憶體子系統：能效的隱形主宰。 上述分析僅針對計算單元。然而，在一次 DRAM 訪問消耗數百 pJ 能量的物理現實下，資料搬運的功耗往往遠超計算本身，這便是“記憶體牆”的物理基礎。系統級 TOPS/W 的提升路徑因此聚焦於兩個方向：

  1. 拉近資料：採用高頻寬儲存器 (HBM) 將資料堆疊於晶片旁，其單位元訪問能效遠優於傳統 GDDR 方案；或是使用大量片上 SRAM，儘管面積成本高昂，但訪問能效比 DRAM 高出三個數量級。
  2. 存內計算 (Compute in Memory)：在儲存單元（如 SRAM、新型非易失性儲存器）內部直接完成模擬或數字計算，幾乎完全消除了權重資料搬移的能耗費，在實驗室條件下已實現數十 TOPS/W 的能效，是突破現有能效天花板的長遠路徑。

一句話總結：TOPS/W 的本質不是設計一個高效的乘法器陣列，而是設計一個極低熵的資料流系統，使能量主要消耗於必要的計算本身，而非資料的搬運和等待。

4. 關鍵引數

評估一款晶片的 TOPS/W 不能只看單一維度，必須建立多維度引數體系，以穿透廠商的宣傳話術。

1. 標稱 TOPS/W：由 (INT8 峰值算力) ÷ (TDP) 計算得出。是來自資料手冊的第一層篩選指標，但因其基於永不降頻、所有 MAC 單元 100% 滿載的假想狀態，與實際表現可能有巨大鴻溝。
2. 有效 TOPS/W (Effective TOPS/W)：定義為(在特定網路模型下的實測吞吐量) ÷ (執行該模型時的實測平均板卡功耗)。這是最具場景依賴性的核心引數。例如，一塊標稱能效為 3 TOPS/W 的晶片，跑 ResNet-50 時可能達到 2.5 的有效值，但跑 GPT-7B 時可能驟降至 0.8。MLPerf Inference Closed Division 提交的功耗配套資料是實現橫向可比的權威來源。
3. 頻寬-能效比 (Bandwidth Efficiency)：公式為 (記憶體頻寬 GB/s) ÷ (系統功耗 W)。它揭示了每消耗 1 瓦電力能將多少資料寫入或讀出記憶體，是判斷資料搬運成本的關鍵。一個典型陷阱是，晶片標稱 TOPS 很高，但頻寬-能效比極低，導致計算單元在頻繁等待資料的過程中空轉，形成“高能效幻象”。
4. 動態範圍調控能力 (DVFS Efficacy)：考察晶片在不同負載（輕載、過載、待機）間電壓/頻率切換的檔位數量、切換延遲和功耗開銷。優秀的 DVFS 設計可以在突發請求之間迅速降至亞閾值狀態，顯著拉低長時間執行的平均功耗。
5. 稀疏/壓縮增益因子 (Sparsity Gain Factor)：指開啟硬體支援的稀疏/壓縮特性後，有效吞吐量相對於稠密模式的實際提升倍數。該因子高度依賴模型是否經過相應適配。對於未做特定剪枝的稠密網路，該因子可能無限接近於 1.0，但廠商仍會按稀疏算力來標註標稱 TOPS/W 值。
6. 系統級能效 (System-Level TOPS/W)：測量節點擴充套件至整臺伺服器（含 CPU、網絡卡、電源模組損耗）。公式為 (多卡叢集在特定任務下的總吞吐量) ÷ (整機櫃交流側總功耗)。這是雲端廠商最終核算成本的依據，通常比單卡標稱值低 20%–40%。

5. 技術路線

當前產業主流技術路線圍繞如何在“通用靈活性”與“專用能效”的頻譜上尋找最優解這一主線展開，形成了層次分明的競爭格局。

路線	典型代表	製程工藝	標稱 TOPS/W (INT8)估算	記憶體子系統	關鍵能效策略	能效邊界與侷限
通用 GPU+Tensor Core	NVIDIA H100	定製 4nm	~2.2 (稠密) ; ~4.3 (稀疏)	HBM3 80GB, 3.35 TB/s	2:4 結構化稀疏; Transformer Engine (FP8 精度); NVLink Switch 提升多卡能效	追求通用性導致的固定功能單元開銷 (如光柵化、圖形處理單元) 難以剝離；運算元庫的完備性和編譯器最佳化程度決定了有效 TOPS/W 上限。
雲端端推論 ASIC	Google TPU v5e; 高通 Cloud AI 100	未充分揭露/7nm	廠商未正式揭露，產業估算 2~4	HBM / LPDDR	基於脈動陣列 (Systolic Array) 的專用資料流，極大減少控制單元開銷，最佳化矩陣乘規律的訪問模式	訓練靈活性受限；軟體棧與模型運算元覆蓋廣度是主要瓶頸，客戶需承擔適配遷移成本。
車規/自動駕駛 SoC	特斯拉 FSD Chip; Mobileye EyeQ6	7nm/5nm 不等	廠商未正式揭露，產業估算 5~8	LPDDR5/5X	極低功耗設計約束下，通過專用的視覺 ISP 流水線和大面積片上 SRAM 維持即時吞吐；針對特定網路（如重 CNN）做硬核固化	算力與能效優勢高度綁定於廠商自家的演算法架構；面對向 Transformer 架構演進時，靈活性挑戰劇增。
手機 NPU 及邊緣側晶片	Apple A17 Pro Neural Engine; 高通 Hexagon	3nm/4nm	≥10 (推測，廠商未標 TDP)	與SoC共用LPDDR5	近閾值電壓操作；與ISP/DSP等異構單元緊耦合，流水線化處理影像、語音等端側任務，避免資料出入記憶體	極致能效僅在連續、固定任務的流處理場景有效；爆發性算力請求受限於不能迅速拉昇電壓的物理特性，可能無法完美處理需要極低延遲的偶發任務。
存算一體/近存計算 (新興)	多家創業公司及研究機構 (如 Mythic, 國內知存科技等)	28nm~7nm 不等	實驗室原型 10~50+	SRAM/Flash 內嵌計算	在儲存單元內直接完成模擬域計算，理論上消除“記憶體牆”瓶頸，實現數量級的能效飛躍	儲存密度與計算精度間的折衷（如模擬計算噪聲）；難以單片承載百億引數級大型模型；軟體生態從零建置，初代產品良率和產能資本支出巨大。

注：標稱 TOPS/W 為基於各廠商公開峰值算力與 TDP 的估算值，各家測試條件不一，僅作同數量級參考，不得作為橫評的唯一依據。

6. 上游

TOPS/W 的實現是一項精密的系統工程，其源頭由多個上游環節的技術供給決定。

• EDA 工具與 IP：Synopsys 和 Cadence 提供的低功耗全流程工具鏈，如靜態功耗分析、電壓島定義、多閾值分析與功耗門控插入，是晶片物理設計階段控制漏電功耗和動態功耗的“手術刀”。同時，ARM Ethos NPU、Imagination PowerVR、Ceva SensPro 等可授權的 AI 加速器 IP 核，預埋了脈動陣列、結構化稀疏等先進能效特性，定義了系統級晶片 (SoC) 的能效基線，降低了晶片設計商的准入門檻但削弱了其差異化空間。
• 製程工藝與製造：台積電 (TSMC) 的 N3E、即將量產的 N2 (Nanosheet) 和遠景規劃中的 A16 (背面供電網路)，三星 (Samsung) 的 3nm GAA 工藝，其電晶體亞閾值擺幅 (Subthreshold Swing) 和寄生電容的每一絲改進，都是 TOPS/W 增益的核心物理源泉。例如，從 N7 到 N4 節點，在同等功耗下通常可獲得約 1.3~1.5 倍的效能增益，或同頻下功耗降低 30%~40%。
• 記憶體與封裝技術：計算晶片之外的元件構成了能效的天花板。來自三星、SK 海力士、美光的 HBM3E 記憶體，其單位元訪問能效構成了資料密集型負載功耗的基線。而台積電的 CoWoS、英特爾的 EMIB 等先進 2.5D/3D 封裝技術，通過縮短 Die-to-Die 互連距離、增加互連密度並降低寄生電容，直接降低了多晶片系統間資料傳輸的能耗，其技術進步速率甚至比邏輯製程本身更為關鍵。

7. 下游

下游使用者基於各自業務模型的強約束，將 TOPS/W 作為決策的核心因子進行量化。

• 超大規模雲端服務商 (Hyperscalers)：Amazon AWS、微軟 Azure、Google Cloud 等是 TOPS/W 指標的終極裁判。他們在採購決策中，會將晶片的標稱 TOPS/W 內化為“每百萬次推論請求的電力成本”的內部模型 (Internal COGS Model)。他們不僅評測單卡，更會對由網路介面卡 (NIC)、電源、散熱組成的整個叢集進行 PUE 折算，要求最終交付的系統級能效滿足嚴苛的財務模型。對於自研晶片（如 AWS Trainium, Google TPU），其動機正是剝離通用晶片中為能效付費的冗餘部分，實現面向自有工作負載的最優“能效-成本”結構。
• 汽車 OEM 與 Tier 1：對於特斯拉、蔚來、Mobileye 等公司，TOPS/W 直接轉化為車輛續航里程的取捨。在 L2+ 功能普及後，8-15 年的生命週期使晶片選型極為保守。當前，雖然頭部智駕平台已進入“每瓦 10 TOPS”級別的引數競賽，但車企更關注的是，在一塊僅靠風冷散熱的域控制器裡，有效 TOPS/W 能否支撐至 OTA 更新到車輛報廢的那一天。
• 消費電子/物聯網終端品牌：Apple、Meta (Ray-Ban Stories 等) 等公司決定了最苛刻的毫瓦級能效需求。在AR眼鏡或 TWS 耳機裡，電池容量常被限制在 100mWh 以內，散熱面積接近零。這要求推論晶片的能效達到數十 TOPS/W 級別，並催生了“模擬存內計算”等前沿硬體技術的需求。此處的 TOPS/W 已不僅是成本問題，而是產品形態在物理上能否成立的門檻。

8. 受益公司

（注：本節僅從產業邏輯出發，客觀陳述各公司在 TOPS/W 競爭浪潮中可能獲得發展動力的邏輯，不構成任何買賣建議。所有資訊均基於公開資料歸納，未見或隱含股價/漲跌預測。）

• 能效方案提供商：NVIDIA Corporation：通過 Hopper 架構引入 Transformer Engine（FP8）和 2:4 結構化稀疏，實現了對標稱 TOPS/W 的代際提升。其即將推出的 Blackwell 架構，宣傳將進一步提升 LLM 推論能效。公司對高能效互連技術（NVLink, InfiniBand）的垂直整合，使其在系統級能效評估中擁有更完整的故事線。
• 晶圓代工與封裝巨頭：台積電 (TSMC)：無論下游何種架構勝出，算力對能效的無限追求最終都會落實到對最先進製程和封裝技術的需求上。N3, N2 工藝及 CoWoS 系列封裝是產品拉高 TOPS/W 邊界的物理必需品，其技術領導地位使其成為這一潮流的基礎設施級受益者。
• 存算一體等新興技術開拓者：眾多未上市的初創公司在 SRAM/Flash/新型儲存存算一體晶片領域，宣稱能提供 10-50+ TOPS/W 的樣片。如果其產品最終證實具備在邊緣側經濟地執行中等規模模型的能力，將對現有市場格局形成衝擊。但其商業化成功還需跨越產品驗證、良率和軟體生態三大門檻，存在重大不確定性。
• 智慧終端 SoC 領導者：高通 (Qualcomm) 與 聯發科 (MediaTek)：對於 AI PC 和高階手機市場，能將 NPU 能效作為關鍵差異點整合進 SoC 平台的廠商，將在終端產品定義中獲得更大話語權。它們正在將生成式 AI 加速（如 Stable Diffusion on device）作為新一代旗艦平台的營銷重點。
• 自研晶片的雲端巨頭：Google (Google)、亞馬遜 (Amazon)：它們通過自研 TPU 和 Trainium/Inferentia 晶片，實現了對其龐大內部工作負載從演算法到硬體的協同最佳化。這種全棧控制能力使其有可能在特定任務上實現超越通用晶片的能效比，從而降低服務成本，鞏固其在 AI 服務市場的成本優勢。

9. 市場規模

（注：以下資料均為基於多家研究機構報告的產業趨勢研判與估算，具體年份和精確數字的印證由於檢索限制無法提供，僅供參考市場量級和方向。）

• 資料中心推論晶片市場：據第三方產業研究公開資料推測，全球資料中心 AI 推論晶片支出在 2024 年已突破 350 億美元，並保持高速增長。在此市場中，TOPS/W 是定性競爭力的核心因子。行業估算，若叢集平均推論能效每提升 20%，可為全球前 5 大雲端服務商每年總計節省數十億美元的電力運營支出。這直接驅動了推論側晶片的替換週期遠短於傳統伺服器硬體的 3-5 年，可能在 2-3 年內即需引入能效更優的新一代硬體以保障賬面回報率。
• 汽車AI晶片市場：根據 2023/2024 年多家機構（如 Yole, IHS Markit）報告的綜合趨勢，該市場在 2025 年的全球規模預計在 30~50 億美元之間（因口徑包含不同等級 ADAS 域控而變化），並在 2030 年以前維持約 20% 的年複合增長率。TOPS/W 在此市場中的定價權極高，因為任何能效優勢都直接減輕了整車熱管理系統和電池組設計的沉重負擔。
• 邊緣及物聯網推論市場：該市場當前以手機/NPU 為主體，整體晶片規模已達到百億美元級。但對 TOPS/W 最極端的需求來自 AR 眼鏡、智慧感測器等超低功耗新興裝置。該細分領域當前體量尚不足 10 億美元（預測），但預估具備 40% 以上的年複合增長潛力（預測源於產業分析報告趨勢）。此處的商業驅動力不是節能省電費，而是產品化能力——“能效即功能”。

10. 玩家對比

選取不同路線的代表玩家進行多維度對比，可清晰展示各自 TOPS/W 策略的差異性。

對比維度	NVIDIA (H100/Grace Hopper)	Google (TPU v5p)	Tesla (FSD HW)	高通 (Snapdragon Ride/Cloud AI)
主戰場	資料中心通用訓練與推論	內部大規模模型訓練與推論	定製化自動駕駛視覺處理	汽車/邊緣/雲端端推論的廣度覆蓋
TOPS/W 核心策略	架構精度進化+稀疏性+高能效互連	宏觀資料流排程最佳化，面向內部模型的軟硬緊耦合	存算近耦合、極致SRAM化、裁剪一切不必要的 IP	IP 授權與平台化思維，在不同功耗點上提供專用 NPU/ISP 流水線
標稱 TOPS/W 定位	追求在通用性下的最優絕對算力與能效平衡	未公開追求指標，更關注內部 TCO 吞吐成本	實際有效 TOPS/W 有高質量表現，尤其在處理的特定視覺網路上	產品線跨度大，能效優先（邊緣）與算力優先（雲端端）分屬不同系列
靈活性 vs 能效	靈活性極高，生態完備，但這是以犧牲部分極致能效為代價的	靈活性低，但內部負載匹配極好，資源空轉率低	靈活性極低，基本硬核固化自家視覺網路，升級需換代硬體	處於光譜中間，提供廣泛工具鏈以在通用性與專用能效間取得平衡
系統級能效關鍵制約	尚需依賴 CX-7 / BlueField 解決多卡 All-to-All 通訊瓶頸	自研 ICI 互連和光路開關 Torus 拓撲，針對其負載已做深度最佳化	單體計算盒，基本不考慮多晶片互連，制約在電路板級散熱與供電	系統版圖由下游OEM/ODM決定，品牌方難以呈現確定的系統級能效承諾

注：對比資訊均來源於各廠家公開的白皮書、技術部落格和官方演講，功能/效能表現未進行獨立實驗室驗證，僅作定性對比。

11. 風險

• 紙面能效陷阱：標稱值虛高與利用率坍塌 最大的風險在於，從“標稱 TOPS/W”到“有效 TOPS/W”再到“系統級能效”之間存在兩層陡峭的衰減。編譯器最佳化不足、運算元庫缺失、模型未能適配硬體稀疏特性，都可能導致實際算力利用率低於 40%，讓高額投入換來的先進硬體空轉耗電，形成“賬面富貴”。
• 製程紅利的邊際遞減風險 對於純粹依靠先進製程迭代提升能效的晶片公司而言，其商業模式存在根本性風險。從 N5 到 N3，能效提升約為 25%~30%，但每進一步，設計和流片成本呈指數級上升。據業內預測，到了更先進的 Angstrom 級別工藝，單位面積電晶體成本的降低空間愈發狹窄，導致單純依靠製程縮小來提升 TOPS/W 的收益日益微薄，無法維繫可持續的商業回報。
• 架構鎖定與技術迭代風險 為追求極致能效而設計的高度專用化 ASIC 或固化 IP，將面臨其目標模型演算法被顛覆的風險。例如，全面針對 ResNet 和 CNN 最佳化的加速器，在 Transformer 流行後，其能效優勢或瞬間崩塌。技術公司押注某一特定架構路線，一旦下一代基礎模型的計算需求變化，前期鉅額研發投資可能淪為沉沒成本。
• 多卡並行的系統損耗風險 在訓練和大型模型推論中，MoE 的 All-to-All 通訊、張量並行的 AllReduce/ReduceScatter 操作，會使訊號在晶片、封裝、PCB、聯結器、線纜之間長途跋涉。此時，互連功耗可能佔據系統總功耗的 20% 甚至更高。系統級 TOPS/W 會遠低於單卡標稱值。投資大型叢集時，如果忽視網路介面卡和交換器的能效，會造成叢集理論與實際 TCO 的巨大偏差。

12. 誤讀糾偏

誤讀1：“TOPS/W 越高，推論就越快，使用者體驗越好。” 糾偏：TOPS/W 是吞吐/功耗的比值，和延遲並非線性對應。一個 TOPS/W 極高但記憶體頻寬僅 25.6 GB/s 的晶片，在處理大語言模型時，可能每秒僅吞吐個位數 Token，使用者感知延遲極高。同時，在低 batch size 下，大量固定功耗（如時鐘樹、PLL）無法有效攤薄，會出現“算力空載，功耗不降”的現象，導致有效 TOPS/W 斷崖式下跌，晶片遠未標稱的那般“省電”。

誤讀2：“支援稀疏計算的 2 倍 TOPS/W 提升是所有模型的免費午餐。” 糾偏：稀疏 TOPS/W 數值是基於硬體能在 2:4 模式下滿管線執行的假設。若模型未經過人工剪枝、重新訓練且由編譯器完成權重重排，提升可能為零。對於 LSTM 等遞迴網路或某些運算元，硬體根本無法開啟稀疏加速。廠商將包含稀疏增益的峰值算力標註為 TOPS/W，往往會誤導使用者高估在通用模型上的真實能效表現。

誤讀3：“用 FLOPS/W 來衡量 AI 加速器能效就足夠了。” 糾偏：不對。AI 推論和部分訓練正快速向量化 INT8 和 FP8 精度轉移。對於以 Transformer 為代表的當代主流模型，INT8/FP8 下的 TOPS/W 直接關聯其計算效率。使用老舊的 FP32 或 FP16 下的 FLOPS/W 評價它們，不僅是拿過時的尺子測量新產品，更會掩蓋硬體在低精度張量計算上的架構優勢。TOPS/W 已成為比 FLOPS/W 更能反映產業現實的能效標尺。

13. 最新事件

• 台積電確認 N2 及 A16 節點進展 (2024-2025 年)：台積電在其技術論壇揭露，N2 工藝預計 2025 年量產，採用 Nanosheet 結構；A16 節點將引入背面供電網路 (BSPDN) 並於 2026 年量產。這標誌著能效的物理基礎將從純粹的前端工藝微縮，轉向結構創新與供電系統的共同最佳化，中遠期晶片的 TOPS/W 天花板有望被顯著推高。
• MLCommons 更新 MLPerf Inference v4.0 基準 (2024 年)：新版基準引入了 LLM 和 Stable Diffusion 等生成式 AI 的評測。在競爭性的封閉賽道中，多家廠商同時提交了功耗資料，使得在 GPT-J 等主流模型下對比不同硬體“有效 TOPS/W”成為可能。從公開結果看，不同架構間真實能效差距的幅度，常與各家的標稱差距不符，凸顯了脫胎於標準化基準的第三方實測資料的關鍵性。
• NVIDIA Blackwell 平台釋出 (2024 年)：NVIDIA 釋出 Blackwell GPU 架構，宣傳其第二代 Transformer Engine 支援 FP4/FP6 精度，並引入專用於解壓的 RAS Engine，可減少資料搬移能耗。這些新特性旨在從精度降低和資料壓縮的新維度提升 LLM 推論的 TOPS/W，產品系統級能效的實證表現仍有待大規模部署後的第三方驗證。
• 面向邊緣大型模型的晶片創業動態：公開融資資訊顯示，多家旨在用存算一體或 NPU 技術在 5-10W 功耗下執行 7B-13B 引數模型的創業公司，在 2023-2024 年期間獲得了新一輪資本加持。這表明資本預期“高能效 + 本地化大型模型執行”將在2025年迎來規模商用節點，但存在重大驗證風險。

14. 追蹤指標

1. MLPerf 能耗排行榜的更新：持續追蹤 MLCommons 每輪提交中，Closed Division 各子項（尤其是 LLM 推論）的 normalized 能效資料（queries/Watt），以此作為比較跨硬體有效 TOPS/W 的核心座標系。
2. 一線雲端廠商的伺服器設計：追蹤 AWS、Azure、Google Cloud 公佈的新型推論例項規格。若例項的計算與記憶體配比發生顯著變化，或者大規模採用自研 ASIC 的比例，反映了雲端廠商對當下通用硬體“能效瓶頸”的內部判斷。
3. 製程良率與功耗曲線的爬坡報告：密切關注台積電、三星等對 N2、N3P 及 2nm 級新工藝節點的公開功耗效能報價。如新節點在同等效能下功耗降低比例不及預期，將直接為全行業 TOPS/W 進階按下減速鍵。
4. 前沿學術成果轉化：關注 ISSCC、VLSI 等電路設計頂會上，關於存內計算、近記憶體計算晶片的實測能效（TOPS/W）與適用模型規模的新進展，通常會領先產業化 1-2 年。
5. 汽車 OEM 的算力與功耗預算宣告：關注各頭部車企在新車型釋出會上對其自動駕駛域控制器所能支援的“感測器融合 + 模型引數”規模及其對應的功耗預算。車企對於功耗比的接納程度，是車規級高 TOPS/W 晶片需求爆發的同步訊號。

15. 信源

1. NVIDIA H100 Tensor Core GPU Architecture White Paper, NVIDIA Corp. [連結]
2. MLCommons Inference Benchmark Results, https://mlcommons.org/benchmarks/inference-datacenter/ [連結]
3. Hot Chips: A Symposium on High Performance Chips, 歷年演講論文集 (Architectural advancements in TPU, Gaudi, FSD Chip etc.)
4. ISSCC Digests of Technical Papers, 近年來關於存內計算與近閾值計算的 session。 (IEEE)
5. TSMC Technology Roadmap disclosures, 台積電官方技術研討會公開揭露資訊。
6. “Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for CNNs”, IEEE JSSC, 2016.
7. 各相關公司（Google, Amazon, Qualcomm, Tesla）的官方技術部落格與公開發佈會資料。