能效比
3秒看懂
能效比，核心定義是單位能耗完成的有效計算量（通常為 TOPS/W 或 FLOPS/W）。值越高，意味著用一度電跑的 AI 任務越多。當大型模型訓練單次電費突破百萬美元、推論成本逼近盈虧平衡點時，能效比已從技術指標升格為 AI 基礎設施的核心經濟指標。
3分鐘產業解釋
AI 算力需求的增長速度遠超摩爾定律，但供電與散熱能力卻面臨物理瓶頸。一個風冷機櫃的典型供電能力為 20-40kW，而一個滿載的 8×H100 節點就能吃掉 10kW 以上。在此背景下，晶片的能效比直接決定：
- 資料中心總擁有成本 (TCO): 電費佔資料中心運營成本的 40%-60%，提升能效比即直接降低毛利壓力。
- 部署密度上限: 同等功率預算下，能效比越高的晶片允許放入更多算力，提高空間效率。
- 邊緣裝置的續航與熱設計: 手機、自動駕駛域控制器無法承受主動散熱，對焦（Joules/Inference）近乎苛刻。
產業側已形成共識：峰值算力（TOPS）的軍備競賽正在讓位於每瓦有效算力的效率競爭。這驅動了從製程工藝、架構設計、資料流排程到系統散熱的全棧創新。
15分鐘專家深入
能效比的討論不能停留在單板數字，須在三個層次上逐層深化：
-
晶片級：裸片能效天花板 由工藝（FinFET/GAA，電容與漏電）和電路設計決定。但裸片跑分（如“100 TOPS/W”）往往在功耗牆拐點（如 0.6V 低壓）附近取得，此時效能可能只有峰值的 30%-50%，真正的商業產品無法工作在該點。需關注效能-功耗曲線上的實際工作點。
-
系統級：從板卡到機架的有效能效 板卡供電（DC-DC 損耗 5-10%）、散熱功耗（風扇/液冷泵）、片間通訊功耗（SerDes）均會攤薄能效比。HBM 記憶體的 I/O 功耗已可與計算核功耗分庭抗禮，訪存密集模型的系統級能效遠低於算術密度極高的矩陣運算。
-
負載級：稀疏、批處理與潮汐效應 能效比的最終度量是交付的業務量/功耗。推論時，延遲敏感型服務（如線上翻譯）需要預留大量算力應對突發，平均利用率低，真實能效遠低於跑連續大Batch時的標稱值。而利用模型稀疏性、動態電壓頻率調節（DVFS）等手段可有效提升實際能效。
因此，業界正在建立端到端能效基準（如 MLPerf Power），將總系統功耗（包括記憶體、互連、冷卻）與真實負載吞吐量掛鉤，取代單純的晶片標稱 TOPS/W。
技術原理
核心公式
$$ \text{Energy Efficiency} = \frac{\text{Workload Throughput}}{\text{System Power}} $$
工作負載吞吐量在 AI 中常表示為：
- 推論：Token/s 或 Query/s，歸一化為等效 MAC（乘加運算）次數；
- 訓練：TFLOPS（每秒萬億次浮點運算）有效吞吐，需考慮反向傳播和梯度通訊。
功耗的物理根源（CMOS 數位電路）： $$ P_{\text{dynamic}} = \alpha \cdot C \cdot V_{\text{dd}}^2 \cdot f $$ $$ P_{\text{static}} = I_{\text{leak}} \cdot V_{\text{dd}} $$
\alpha：活動因子，與電路翻轉率相關；C：負載電容，與工藝特徵尺寸和連線相關；V_{\text{dd}}：供電電壓，其對功耗有二次方影響；f：工作頻率。
提升能效比的槓桿：
-
降壓降頻，但需補償吞吐量： 若
V_{\text{dd}}下降 10%，動態功耗下降約 19%，但頻率也會下降，導致效能下降。通過並行化架構維持吞吐量，即可在能效上獲得淨收益。這就是張量處理器的核心邏輯——用大規模並行換頻率和電壓的下壓。 -
降低
\alpha \cdot C：- 工藝微縮： FinFET/Nanosheet 改善短溝道效應，等效
C和漏電； - 專用架構： 矩陣乘法運算元的資料複用度高，減少暫存器、SRAM 訪問翻轉次數；
- 資料流最佳化： 如 Eyeriss 的 Row-Stationary 資料流，最大化卷積權重和特徵圖的重用，減少 DRAM 訪問（DRAM 訪問能耗比片上 SRAM 高 2-3 個數量級）。
- 工藝微縮： FinFET/Nanosheet 改善短溝道效應，等效
-
降低精度： FP32→BF16→INT8→INT4，每次乘法的位元數減半，能量消耗近乎線性下降。INT8 推論的能效可達到 FP32 的 4 倍以上，這是推論晶片能效突飛猛進的主要手段。
-
靜態功耗抑制： 電源門控、時鐘門控、近閾值/亞閾值計算（用於極低功耗感測器晶片）。
以下是以一個典型張量核的能效瀑布圖示意（資料流簡化版）：
算力密度 ↑
[DRAM] --讀權重/啟用--> [全域性Buffer] --多播--> [PE陣列]
能耗佔比： ~20% ~10% ~70%
標籤： 高能耗瓶頸 可最佳化控制 資料搬運 是能效設計的核心命題。存內計算（Processing-in-Memory）即試圖直接在儲存器陣內執行 MAC，消除資料搬運的鉅額開銷。
技術演進史
- **2012 年以前：**能效比主要在移動處理器（ARM big.LITTLE）中作為續航指標，資料中心看 CPU 的 SPECpower_ssj2008。GPU 計算尚未以能效為賣點。
- **2014-2016 年：**Google TPUv1 釋出，推論核心採用 INT8 脈動陣列，論文揭露中位數能效比約 2.3 TOPS/W[Google TPU ISCA 2017]；同期 GPU 的 FP32 能效多在 0.05-0.1 TOPS/W 水平。差距拉開序幕。
- **2017-2019 年：**NVIDIA Volta/Turing 引入 Tensor Core，支援 FP16 混合精度訓練，能效比大幅提升至 ~0.3 TFLOPS/W (FP16) [行業估算]。Apple A11 Bionic 加入 Neural Engine，行動端能效競賽升級。
- **2020-2022 年：**Ampere 架構 A100，台積電 7nm，BF16 訓練能效可超 0.5 TFLOPS/W [基於官方功耗推算]；Google TPUv4i 等 ASIC 推論能效達到 ~1 TFLOPS/W [由公開 Blog 資料推算，為估算值]。
- **2023 年至今：**H100 採用 4N（5nm 節點定製增強版）工藝、FP8 支援、Transformer Engine，標稱推論能效逼近 2 TFLOPS/W [基於 NVIDIA 公開規格，實際取決於負載]。邊緣側，高通 8 Gen 3 移動平台的 AI 引擎宣稱的 INT4 能效達 10+ TOPS/W [廠商宣傳資料，未提供獨立驗證]。走向 3nm GAA（如未來產品）預計可再提升 20-30% 能效（等功率頻率提升或同頻功耗降低，取決於最佳化目標）。
整體趨勢：每 2-3 年，領先 AI 推論晶片的能效比翻倍，訓練晶片因需要更高精度和更大片間互聯，提升相對緩慢。
技術路線對比
| 技術路線 | 典型能效比範圍（推論,INT8） | 訓練能效 | 靈活性 | 生態成熟度 | 代表廠商 |
|---|---|---|---|---|---|
| 通用 GPU | 1-8 TOPS/W [估算] | 高 (BF16/FP8) | 極高 | 極成熟 | NVIDIA, AMD |
| DSA 推論 ASIC | 10-100+ TOPS/W [估算] | 可支援（受限） | 低 | 定製化 | Google TPUv5, Amazon Inferentia, Habana Gaudi |
| FPGA | 0.5-5 TOPS/W [估算] | 可調 | 中高 | 中介軟體成熟，開發門檻高 | Xilinx (AMD), Intel Agilex |
| 存算一體 (PIM/CIM) | 聲稱可達 100-1000 TOPS/W [學術/初創標稱] | 研發中 | 極低 | 早起 | Mythic, Samsung HBM-PIM, 知存科技 |
| 神經形態 | 事件驅動, mW 級功耗下的低時延 | 不適用 | 演算法繫結性極強 | 研究 | Intel Loihi 2, SynSense |
關鍵解讀：
- ASIC 的能效優勢建立在犧牲靈活性的基礎上，演算法一旦定型，能效極致最佳化。
- 存算一體目前受限於計算精度（多值模擬）和儲存器可靠性，但在特定模型（小域模型）和超低功耗場景優勢明顯。
- GPU 憑藉生態靈活性，其訓練能效/通用性無可替代，推論領域正通過 LLM 部署最佳化（如 FP8、量化）快速追趕 ASIC 差距。
上下游
上游：
- EDA 與 IP 工具: Cadence, Synopsys 的低功耗設計套件，Arm 的 Ethos 系列 NPU IP 等，提供電源管理、動態電壓頻率調節（DVFS）等基礎模組。
- 半導體制造: 台積電（N5,N4,N3 FinFET; N2 Nanosheet 預計 2025+）與三星電子（3nm GAA 先期量產），能效提升的物理根基。
- 先進封裝與互連: 台積電 CoWoS（HBM 整合）、Intel EMIB、UCIe 標準，高能效互連是超越單晶片的關鍵。
中游：
- 晶片設計公司: 聚焦架構創新（脈動陣列、資料流、片上網路）、高頻寬記憶體控制器、低精度算術單元設計。
- 散熱與電源方案提供商: 從風冷到液冷（冷板、浸沒式），從傳統 12V 到 48V 機架供電、Server PSU 效率（鈦金級 96%+），降低系統層損耗。
下游：
- 雲端服務商（CSP）: 微軟 Azure、亞馬遜 AWS、Google Cloud 等，對機架級電力、冷卻成本極其敏感，是能效晶片的最大買家，常通過自研定製晶片鎖定能效優勢。
- 邊緣裝置廠商: 智慧手機（Apple、高通）、自動駕駛（Tesla FSD, Mobileye）、工業物聯網，需要極致焦耳每推斷（Joules/Inference）來滿足熱和續航約束。
關鍵指標
- TOPS/W 或 FLOPS/W: 在預設的精度（INT8/FP16/BF16/FP8）下，標稱峰值吞吐量除以板卡 TDP 或實際測量功耗。常區分“峰值”與“持續”能效。
- Joules/Inference: 用於批處理大小不同的場景更客觀。
- 效能功耗比曲線: 在多個頻率/電壓點測得的吞吐量-功耗關係，可以找到能效比最高點（通常在中低頻）和效能最大點。
- 系統 PUE (Power Usage Effectiveness): 資料中心總能耗 / IT 裝置能耗。即使晶片能效較高，若 PUE=2，實際有效能效也會腰斬。前沿雲端廠商 PUE 可達 1.1 以下。
- TCO 等效指標: 如 $/TFLOPS-hour，結合電費、硬體攤銷和冷卻成本。
供需與市場資料
雖無法給出精確第三方統計，但公認趨勢可述：
- AI 訓練電力需求激增： 據公開研究，訓練一個 GPT-3 級模型能耗約 1,287 MWh[來自多篇論文引用]，相當於一個美國普通家庭上百年的用電量。未來更大型模型預計將達數十個 GWh 級。這驅動大規模雲端客戶優先採購高能效產品，因電力配額在部分地區已成部署瓶頸。
- 推論側長尾效應： 面向數十億使用者的線上推論，累積能耗遠超訓練。據估算，ChatGPT 每日推論用電可達數百萬瓦時量級[行業分析估測]。低至 1% 的能效提升都會帶來可觀的經濟收益。
- 供給側反應： 各大晶片商正迅速轉向 每瓦效能 作為首要賣點。NVIDIA 從 H100 開始強調“Performance per Watt”，Apple M 系列一直以能效比著稱，Google 第五代 TPU 也在宣傳中突出能效。
資本支出方向： 超大規模資料中心 2024 年資本支出大幅增長（主要流向 AI 算力），而電力獲取成為專案選址的首要考量。能效比高的晶片因此成為緩解電力焦慮的戰略資產。
代表公司與資本對映
- 輝達 (NVIDIA): H100/B100 系列依託先進工藝 + 稀疏結構 + FP8 引擎，維持著通用 AI 訓練/推論的能效領導者地位，但面臨 ASIC 挑戰。
- 博通 (Broadcom) / Marvell: 通過定製 ASIC 設計服務，為Google TPU、亞馬遜 Trainium 等提供物理實現，是許多能效冠軍背後的設計推手。
- Google TPU: 第五代 TPUv5 已用於內部大型模型訓練，推論用 TPUv4i 能效極高，不對外銷售但定義 ASIC 路線。
- AMD: MI300X 採用 Chiplet 架構與 HBM3，官方強調在 HPC 和 AI 推論上的能效優勢，直接對標 H100。
- Apple (Apple): M 系列 Ultra/Extreme 統一記憶體架構，極大降低資料遷移功耗，在邊緣大型模型（本地 LLM）推論中展示出優秀 Joules/Token。
- 創業公司聚焦能效：
- Groq: 以確定性的軟體排程改善硬體利用率，宣稱推論能效和時延雙優。
- Cerebras: WSE-2 晶圓級引擎，極大資料流零複製，單器件達到超高效能比，但應用生態相對封閉。
- 存內計算賽道: Mythic (模擬存算)、知存科技等，面向 AR/VR、穿戴裝置，融資反映對極致能效的需求。
產業對映
-
TCO 成為硬體選型的第一標準： 雲端廠商採購 AI 算力的決策模型已從“最強晶片”轉為“最優$/QPS”。能效比直接決定電費和維護成本，在 5 年生命週期內可佔比總成本 60% 以上。能效比高的企業能提供更有競爭力的例項定價，搶份額。
-
“能效-生態”剪刀差： 當前 N 卡憑藉 CUDA 生態雖軟體能效折損仍具競爭力，但 ASIC 在模型固化場景（如推薦系統、Transformer 大型模型推論）的極大能效差（可達數倍）正在推動大規模遷移。網際網路巨頭自研晶片就是這一剪刀差商業化的典型形態。
-
電力瓶頸下的供給約束： 全球多地限制新建資料中心的能耗指標，能效比領先的晶片方案成為“電力配額”下的關鍵技術變數。產業研究可觀察能效提升能否轉化為可交付算力、單位推論成本下降和資料中心擴容能力。
-
風險提示： 極端能效 ASIC 面臨演算法快速變化的風險，一旦基礎運算元更迭，硬體可能退化。純粹看能效排行榜可能存在“刷分”陷阱，實際負載利用率（Batch Size 1 下的真實表現）要重點驗證。
常見誤讀糾偏
誤讀 1：“TOPS/W 越高，晶片就一定越省電、執行越快”
糾偏： 能效比是在特定工作點測得的比值，不代表絕對效能和絕對功耗。一個 1 TOPS/W 的晶片可以在 50W 下達到 50 TOPS，另一個 4 TOPS/W 的晶片可能只在 5W 下提供 20 TOPS。如果算力需求超過 20 TOPS，後者無法勝任；如果只需 20 TOPS，後者更省電。必須結合效能目標一起看，不能脫離需求比較能效比。
誤讀 2：“先進製程（如 3nm）必然帶來更高能效比”
糾偏： 製程微縮可以降低每一柵極的電容和電壓，但未改善架構則收益有限。例如，在 3nm 上仍用舊架構，只在靜態/動態功耗上拿到 25-30% 的改進[典型代際提升]，而最佳化資料流、提高算術強度（Ops/Byte）的架構改進可能帶來倍數級能效跳躍。事實上，成熟製程（如 7nm）加高度定製的 NPU，能效常優於先進製程下通用 CPU/GPU 跑模型。製程是基礎，架構是槓桿，解除安裝 IR/壓下的資料搬運才是關鍵。
學習路徑
-
入門：
- 讀物：Sze et al. “Efficient Processing of Deep Neural Networks: A Tutorial and Survey” (Proceedings of the IEEE, 2017) — 經典的 DNN 加速器能效剖析。
- 線上課程：MIT 6.5930 Hardware Architecture for Deep Learning；Stanford CS217 Hardware Accelerators for Machine Learning。
-
進階：
- 論文：Google TPU 系列論文 (ISCA 2017, 等等)；MIT Eyeriss v1/v2 (Row-Stationary 資料流)；NVIDIA TensorRT 與低精度推論最佳化；Horowitz, “Energy-Efficient Computing for AI and Beyond”。
- 工具實踐：使用 NVIDIA Nsight Compute 分析 GPU kernel 功耗比例；用 TVM 自動調優模型在不同後端上的能效。
-
專家：
- 深入物理設計：低電壓 SRAM 設計、近閾值電路穩定性、光互聯/3D 堆疊的能效潛力。
- 參與 MLPerf Power 基準提交，理解端到端測量方法學。
一句話總結
能效比是 AI 算力從野蠻生長到成本理性時代的分水嶺，它把電費單變成了設計圖，讓每一焦耳都算數。
延伸閱讀與來源
- 主要來源說明： 本文撰寫時聯網檢索不可用，所有技術原理基於半導體與計算機架構領域公開常識；具體能效比數字多來自論文、廠商白皮書及第三方評測的行業常見理解，標註為“估算”或“推算”，並非對某具體晶片的精確測量值。
- 推薦閱讀：
- N. P. Jouppi et al., “In-Datacenter Performance Analysis of a Tensor Processing Unit,” ISCA 2017.
- Y.-H. Chen et al., “Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep CNNs,” JSSC 2017.
- D. Moloney et al., “MLPerf Inference Benchmark,” arXiv:1911.02549.
- M. Horowitz, “1.1 Computing’s energy problem (and what we can do about it),” ISSCC 2014.
- 資料基準： MLCommons (MLPerf) 網站，提供帶有功耗限制的推論/訓練結果，是追蹤行業能效最直接的來源。