TOPS

1. 3 秒看懂

TOPS，全稱 Tera Operations Per Second，即每秒萬億次運算。它是衡量 AI 加速器理論峰值算力的核心單位，直觀反映了晶片在“理想跑分”狀態下處理海量乘積累加運算的極限速度。數值越高，意味著晶片在單位時間內處理資料的理論吞吐能力越強。

然而，TOPS 並非實際執行速度，而是一個在特定低精度（如 INT8）條件下測得的最大“馬力”標稱。它更像是汽車儀表盤上的最高時速，可以在特定理想路況下達到，但並不代表日常城市通勤中的平均車速。從手機 NPU、自動駕駛域控制器到雲端端推論 GPU，TOPS 已成為從終端到資料中心進行算力橫向比較的通用標尺。

2. 3 分鐘產業解釋

在產業實踐中，“400 TOPS 的 AI 晶片”究竟意味著什麼？它在執行一個百億引數的大語言模型時，每秒真的能完成 400 萬億次神經網路計算嗎？答案遠非如此簡單。TOPS 這個單位的實際意義，高度依賴於其背後所統計的“運算”種類、精度和硬體實現方式。

• 與精度強相關：在 GPU、NPU 等 AI 加速器上，TOPS 通常特指 INT8（8位整數）精度下的乘加運算。由於 INT8 乘法器的硬體實現遠比 FP32 浮點乘法器簡單，相同晶片面積可以整合數十倍數量的計算單元，或讓同一單元以更高頻率執行。因此，同一塊晶片的 INT8 TOPS 數值通常數倍於其 FP16 TFLOPS，這並非“數字遊戲”，而是物理實現差異的直接體現。
• 訓練與推論的側重：訓練場景對精度極其敏感，行業標準多用 **FP16、BF16 甚至 FP32 的 TFLOPS（每秒萬億次浮點運算）**來衡量。TOPS 則主要統治推論市場，尤其是對成本和功耗極致敏感的邊緣和終端側推論卡。近年來，隨著 FP8、INT4 等混合精度推論的興起，TOPS 的定義邊界也在模糊化。
• 有效算力的多元約束：一顆晶片的有效效能，並非由峰值 TOPS 單一決定。它受制於記憶體頻寬（能否在計算單元“飢餓”前餵飽資料）、編譯器與運算元庫效率（是否能把模型圖最優對映到硬體指令）、批處理大小（線上小批次服務根本跑不滿全部計算單元）以及模型稀疏化程度（硬體能否利用權重中的零值進行加速）等。因此，業界普遍引入“每瓦 TOPS”（能效比）、“TOPS/$”（價效比）以及權威第三方基準測試（如 MLPerf）來建置更立體的評價體系。

對於開發者和系統整合商而言，TOPS 是一個快速初篩的粗尺度。其核心產業意義在於，它驅動整個晶片行業圍繞“更高 TOPS、更低功耗、更低成本”展開創新競賽，催生了從 NVIDIA GPU 的 Tensor Core、Google TPU 的脈動陣列，到無數 AI ASIC 創業公司的繁榮生態。

3. 技術原理

在邏輯和物理實現層面，TOPS 的本質是對一個數字系統單位時間內完成“基本運算”次數的量化。對於深度學習推論晶片，這個“基本運算”特指乘積累加運算（MAC）。

其理論峰值算力的核心公式如下：

峰值 TOPS (INT8) = N × f × 2 / 1000

• N：晶片整合的 INT8 MAC 單元總數。這是由晶片設計面積、製程工藝及其功耗預算決定的。
• f：MAC 單元的穩定工作頻率，單位是 GHz。
• 2 Ops/MAC/cycle：行業通行標準。在一個時鐘週期內，一個 MAC 單元完成一次乘法和一次加法，廠商將其計為 2 次有效操作。這是導致 INT8 TOPS 數值偏高的直接數學原因，但並非虛標，而是統一口徑下的最大理論值。

精度與稀疏性的影響：

• 精度換算：若晶片同時支援 INT8 和 FP16，其 INT8 TOPS 是 FP16 TFLOPS 的多倍，這主要源於硬體層面 INT8 MAC 單元數量（N 值）遠多於 FP16 單元，或 INT8 單元能執行在更高頻率（f 值），而非僅僅因為 1 MAC = 2 Ops 的計數方式。
• 結構化稀疏加速：若架構支援 2:1 的結構化稀疏（即權重矩陣中每兩個值強制有一個為零），硬體可設計專用控制邏輯跳過該零值的計算，從而在理想情況下將有效 TOPS 提升近 2 倍。但這一提升極度依賴模型是否經過稀疏化訓練以及編譯器能否有效生成對應指令。

值得注意的是，TOPS 並非國際單位制中的標準物理量，而是行業自發性共識。不同廠商可能在統計 MAC 時是否計入非線性啟用函式、量化反量化操作等輔助計算上存在細微差異，這進一步要求業界必須結合公開的測試基準（如 MLPerf Inference）進行橫向比較。

4. TOPS 與 TFLOPS 的辨析與換算

TFLOPS（每秒萬億次浮點運算）與 TOPS 是 AI 晶片最常同時出現的兩大指標，但它們度量的是截然不同的運算型別：前者面向浮點運算，後者主要面向整數運算。在人工智慧領域，二者的關係可以類比為“精密手術刀”與“量產流水線”。

• 數值換算的陷阱：行業並不存在統一的“TOPS 轉 TFLOPS”公式。對於同一塊 NVIDIA A100 GPU，INT8 峰值算力為 624 TOPS，而 FP16 Tensor Core 運算（帶 FP32 累加）的峰值約為 312 TFLOPS，比值為 2:1。但到了下一代 H100，INT8 峰值達到 3958 TOPS，FP16 約為 1979 TFLOPS，比值仍接近 2:1。這在 NVIDIA 架構中相對穩定，主要因為每個 INT8 Tensor Core 在一個時鐘週期內能完成 2 倍於 FP16 的運算次數。但對於其他架構，這一比值可從 2:1 到 8:1 不等，完全取決於晶片設計時對不同精度的硬體資源傾斜。
• 應用場景的天然分野：訓練環節必須使用浮點精度來捕捉誤差梯度的微小變化，因此 TFLOPS 是訓練卡的核心標尺。推論環節，尤其是視覺、語音等感知模型，經過量化後，INT8 甚至 INT4 精度即可滿足任務需求，因此 TOPS 成為推論卡、端側 NPU 的主流宣傳口徑。近年大語言模型的興起，開始模糊這一界限——部分大型模型推論仍需保留較高的 KV Cache 精度，混合精度推論使得晶片需要同時具備高 TFLOPS 和高 TOPS。
• 混合精度時代的融合：2023 年起，NVIDIA（Hopper 架構）、英特爾（Gaudi 2）等紛紛引入 FP8 原生支援。FP8 在保持一定動態範圍的前提下，硬體實現複雜度接近 INT8，因此一些廠商開始將 FP8 算力也納入“TOPS”範疇進行宣傳。例如，H100 的 3958 TOPS 實際已包含 FP8 的貢獻（官方標稱 3958 TFLOPS for FP8，但市場常把 TFLOPS 混用於 TOPS）。這種趨勢使得行業亟需更嚴謹的標註規範，例如明確標註“INT8 TOPS”或“FP8 TFLOPS”。

5. 決定有效算力的四大封鎖線

晶片的峰值 TOPS 就像發動機的標稱馬力，而實際推背感則取決於傳動系統和輪胎抓地力。AI 晶片從“紙面算力”到“板上效能”存在四大封鎖線。

第一道封鎖線：記憶體頻寬牆 無論是 CNN 卷積核的權重，還是 Transformer 每層的鍵值快取，資料必須先從 HBM 或 DDR 記憶體搬運到片上快取或暫存器中。如果記憶體頻寬不足以支撐計算單元的吞吐需求，大規模 MAC 陣列將處於“等米下鍋”的飢餓狀態。以 NVIDIA H100 為例，其 3958 INT8 TOPS 需要 3.35 TB/s 的記憶體頻寬來匹配，若換用僅有 200 GB/s 頻寬的 LPDDR5 系統，實際算力利用率可能不到 10%。這便是“頻寬受限型”晶片的典型困境。對於邊緣端晶片，記憶體牆是比峰值 TOPS 更關鍵的制約因素。

第二道封鎖線：編譯器與運算元庫的“翻譯損耗” 深度學習架構（PyTorch、TensorFlow）輸出的計算圖，需經過編譯器轉換為晶片可執行的指令序列。若編譯器無法將特定運算元（如新型啟用函式、非標準歸一化）高效對映到硬體，晶片將被迫使用通用計算單元進行低效處理，整體吞吐大降。此外，運算元庫的最佳化程度——是否針對全連線層、卷積滑窗尺寸進行了手工彙編級最佳化——直接決定跑分。這正是同樣硬體規格的 AI 晶片，在某些基準測試中效能懸殊的根本原因。

第三道封鎖線：批處理大小與服務時延的剪刀差 資料中心線上推論服務要求毫秒級響應，單次推論的 Batch Size 往往僅為 1 或極小的數。而 GPU 的大規模 SIMT 架構只有在大批次並行處理時才能接近峰值 TOPS。小批次下，大量計算單元閒置，實測 TOPS 可能僅為峰值的 20%-30%。與之相反，量化交易、離線影像批處理等場景天然具有大批次屬性，算力利用率則高得多。因此，TOPS 對線上服務場景的指導意義需大打折扣。

第四道封鎖線：軟體生態與模型適配 一顆 AI 晶片即使擁有極高的 TOPS，若缺乏對主流模型（如 Llama、Stable Diffusion）的開箱即用支援，開發者移植成本高企，最終落地產品可能仍選擇生態完善的較低算力競品。NVIDIA CUDA 生態的護城河正是通過高度最佳化的 cuDNN、TensorRT 等軟體棧，讓其硬體 TOPS 轉化為遠高於競品的有效算力利用率（Utilization）。這也是為何 AI 晶片創業公司不僅要拼硬體 TOPS，更要投入巨資建設編譯器和運算元庫生態。

6. 主流 AI 加速架構的 TOPS 實現路徑

不同晶片架構實現 TOPS 的物理基礎截然不同，這帶來了成本、功耗和適用場景的深刻差異。

• GPU 的 Tensor Core 路線：以 NVIDIA 為代表，Tensor Core 專門為矩陣乘加設計，可在單週期完成 4×4×4 的矩陣運算。INT8 模式下，一個 Hopper 架構的 Tensor Core 每週期可完成 64 個 MAC（即 128 Ops）。通過大量複製 Tensor Core 並提升頻率，H100 達到接近 4000 TOPS 的恐怖數值。其代價是高昂的晶片面積和功耗（700W TDP），僅適合雲端端訓練與推論。
• TPU 的脈動陣列：Google TPU v5p 採用大規模脈動陣列，資料自記憶體流入後以流水線方式穿過十萬多個 MAC 單元，避免了多次記憶體讀寫，能效極高。其 INT8 算力同樣高達數千 TOPS，且專門為 TensorFlow/JAX 生態最佳化，記憶體頻寬利用效率驚人。TPU 不可單獨購買，展示了一條雲端服務繫結自研晶片的商業模式。
• NPU 的異構與多級儲存：行動端和高階自動駕駛晶片普遍採用 NPU 即神經網路處理單元。像高通 Hexagon、Apple ANE、地平線 BPU 等，它們把絕大部分面積分配給面向特定網路結構（如 MobileNet、ResNet、Transformer）的專用 MAC 陣列，並配以多級片上快取（L1、L2）來對抗記憶體牆。典型的高通驍龍 8 Gen 3 的 Hexagon NPU，在 INT8 下可提供約 45 TOPS 的算力（據高通 2023 年官方資料），用於即時照片增強和語音識別遊刃有餘，功耗僅數瓦。
• IPU 與資料流架構：Graphcore 的 IPU 採用大規模分散式片上 SRAM 和 MIMD 架構，每個 Tile 擁有獨立的 MAC 單元和本地記憶體。其 TOPS 數值雖非最頂尖，但細粒度資料流控制使其在處理稀疏圖、動態網路等非規整模型時，能實現遠超同 TOPS 傳統 GPU 的有效效能。
• FPGA 的可重構 TOPS：賽靈思（AMD）的 Versal 系列片內集成了 AI 引擎，本質上是一組可重構的 VLIW 向量處理器。其 INT8 TOPS 可通過配置邏輯即時調整精度與吞吐的權衡，在訊號處理與雷達點雲端處理等低時延場景有獨特優勢，但編譯門檻較高。

無論何種架構，核心趨勢均在從“粗放堆積 MAC 單元”轉向“MAC 單元+近存計算+高效排程”的系統性最佳化，單純比拼峰值 TOPS 無異於內燃機時代比拼氣缸數量。

7. 標杆產品 TOPS 對決：從毫瓦到千瓦的算力光譜

下面以 2024 年市場可見的典型產品為例，展示 TOPS 從端到雲端的廣闊跨度。所有資料均來自廠商官方規格或經公開基準測試驗證。

產品型號	型別	INT8 TOPS（峰值）	功耗 (TDP)	能效 (TOPS/W)	主要應用
高通驍龍 8 Gen 3 (Hexagon)	手機 NPU	約 45 TOPS*	系統級<5 W	極高（但系統繫結）	終端影像、語音
Apple A17 Pro Neural Engine	手機 NPU	35 TOPS**	晶片級 <3 W	極高	即時影像、Face ID
NVIDIA Orin-X	自動駕駛 SoC	254 TOPS***	45 W	5.6	行泊一體域控
地平線征程 5	自動駕駛 NPU	128 TOPS****	30 W	4.3	高階輔助駕駛
Mobileye EyeQ Ultra	自動駕駛 SoC	176 TOPS*	未公開	未公開	下一代自動駕駛
NVIDIA A100	資料中心 GPU	624 TOPS (INT8)	400 W	1.56	訓練與推論混合
NVIDIA H100	資料中心 GPU	3958 TOPS (INT8/FP8)	700 W	5.65	大型模型訓練/推論
NVIDIA L40S	資料中心 GPU	1464 TOPS (INT8)	350 W	4.18	視覺與邊緣推論
Google TPU v5p	雲端 TPU	459 TFLOPS (BF16)*****	未公開單晶片	未公開	雲端推論與訓練
AMD MI300X	資料中心 GPU	2614 TFLOPS (FP16/BF16)	750 W	3.49	大型模型推論

資料來源說明： *高通、Apple、Mobileye 資料來自各自 2023-2024 年產品釋出技術文件或官方新聞稿。其中高通 NPU 的 TOPS 數值為 Hexagon 處理器INT8精度下的聯合推算，不同基準測試下可能略有浮動。 **Apple A17 Pro Neural Engine 35 TOPS 為Apple 2023 年官方宣佈資料。 ***NVIDIA Orin-X 254 TOPS 為 NVIDIA 2022 年公佈的資料，功耗為目標功耗，實際 OEM 板級可能更高。 ****地平線征程 5 128 TOPS 來自地平線 2023 年產品頁面，官方標稱 INT8 等效算力。 *****Google TPU v5p 未公佈 INT8 TOPS，BF16 TFLOPS 為 Google 2023 年公開資料。

從上表可見，資料中心 GPU 能以 5 倍於自動駕駛晶片的絕對算力領先，但能效比已逐漸逼近。H100 在 2023 年的每瓦 TOPS 甚至優於不少邊緣晶片，這得益於其先進的 4nm 製程和架構最佳化。然而，絕對能效之王仍在手機 NPU 領域，它們用毫瓦級功耗實現了即時深度學習處理。

8. 終端側 TOPS：手機與物聯網的靜默革命

手機 SoC 內的 NPU 是 TOPS 概念最早進入大眾視野的領域。從 2017 年Apple A11 Bionic 首推 Neural Engine（當時僅 0.6 TOPS），到如今 A17 Pro 的 35 TOPS，7 年內提升了近 60 倍。這使智慧手機能夠在不聯網的情況下完成 4K HDR 影片即時虛化、本地語音助手全離線執行、手勢姿態識別等一系列場景。

在物聯網（IoT）和智慧家居領域，低 TOPS 但極低功耗的 MCU 級 AI 晶片正在興起。例如，Arm Cortex-M85 配合 Ethos-U65 microNPU 可在 0.1 TOPS 量級下完成關鍵詞喚醒、振動異常檢測等任務，功耗低至毫瓦，可執行達數年之久。TOPS 在這些場景已脫離單純數值比拼，而是與“TOPS/功耗/成本”三角深度繫結。據 ABI Research 2023 年報告（公開資料引用），物聯網 AI 推論晶片市場在 2028 年有望超過百億人民幣，其中大部分晶片的 INT8 算力在 0.5 TOPS 到 10 TOPS 區間。

終端側 TOPS 的核心瓶頸在於記憶體和散熱。手機內部極度有限的空間，既容納 LPDDR5 記憶體顆粒，又要保證 NPU 高峰值運算時不觸發過熱降頻。因此，三星、高通等紛紛引入“NPU 多核 + 動態頻率調節”，在執行負載時短暫達到峰值 TOPS，然後迅速降頻，實現“爆發式推論”。這種峰值標稱與實際持續效能的巨大差值，再次警示從業者不能僅看宣傳中的 TOPS 數字。

9. 自動駕駛：一場關於 TOPS 的軍備競賽與理性迴歸

自動駕駛域控制器是過去五年 TOPS 最火熱的戰場。2020 年特斯拉 FSD Computer 以 144 TOPS 震驚業界，隨後，國內外晶片廠商開啟了算力的競逐。

• 算力攀升的驅動力：高階自動駕駛感知需要同時執行多路攝像頭的卷積網路，加上 BEV（鳥瞰視角）變換、Transformer 時序融合、佔據網路等，模型計算量成指數級上升。為了在 1 秒內完成全棧感知到規劃的推論，並預留未來 OTA 升級空間，主機廠要求晶片提供數百甚至上千 TOPS 的感知算力。
• 代表廠商與產品：NVIDIA 憑藉 254 TOPS 的 Orin-X 佔據絕對主導地位，2025 年即將量產的 Thor 更是宣稱具備 2000 TOPS（單晶片）的 AI 算力，融合智慧駕駛與座艙功能。本土廠商中，地平線征程 6 旗艦版宣稱達 560 TOPS，黑芝麻智慧 A2000 家族最高逾 500 TOPS（INT8）。這些晶片普遍採用 ASIL-D 功能安全設計，並配備獨立的安全島，成本遠高於同算力的消費級晶片。
• 算力的真實性焦慮：在自動駕駛領域，TOPS 同樣面臨“紙面跑分”質疑。實際感知模型的執行離不開 ISP 影像訊號處理、雷射雷達點雲端預處理、多感測器同步融合等輔助模組，若這些模組擠佔記憶體頻寬與排程資源，感知網路能分到的有效 TOPS 便大打折扣。主機廠逐漸從“有 TOPS 就買”轉變為“看實際 FPS 和時延”，催生了像 MLPerf Automotive 這樣的自動駕駛專項基準。據 MLPerf 2023 年自動駕駛基準資料（公開可查），同一模型在不同硬體上的實際吞吐量最多可相差數倍，而它們的 INT8 TOPS 標稱值可能十分接近。

這一領域正從野蠻堆砌算力迴歸到軟硬體協同最佳化的理性階段，但 TOPS 作為最直觀的入場券，仍是主機廠定點的首要篩選指標。

10. 資料中心推論：TOPS 支撐的雲端上大腦

資料中心推論市場正是 TOPS 的主戰場。大型模型時代，單個 GPT-4 級別模型的推論可能需要數十張甚至數百張 H100 協同工作。推論晶片的 TOPS 不僅關乎速度，更直接決定每 Token 成本。

NVIDIA 在資料中心推論的統治力源於其完整生態：TensorRT-LLM 通過運算元融合、KV 快取最佳化和 In-flight Batching，將 H100 的實際輸出 Token 速率推至極致。據 NVIDIA 2023 年公開測試資料，使用 8 張 H100 通過 TensorRT-LLM 最佳化後的 Llama 2 70B 模型，可實現每秒生成數千 Token。這一結果背後，是 3958 TOPS 的理論峰值經過多層軟體解鎖後，真正轉化為可用算力。

挑戰者也在崛起。AMD MI300X 的 INT8 TOPS 雖不及 H100，但憑藉更大視訊記憶體（192 GB HBM3），在批處理大型模型時能降低視訊記憶體換入換出開銷，實際吞吐量在許多場景下與 H100 持平，甚至因低價格獲得更好 TOPS/$。此外，亞馬遜 Inferentia2、Cerebras CS-3 等專用推論解決方案，也圍繞特定運算元或晶圓級整合，提供差異化的 TOPS 變現路徑。資料中心推論領域的競爭，正從“誰的 TOPS 更高”轉向“誰的 TOPS 能更便宜的轉化為有效 Token”。

11. 能效與 TOPS/W：雙碳背景下的關鍵維度

在全球“碳達峰碳中和”和資料中心 PUE 嚴控的背景下，單純追求 TOPS 已不夠，TOPS/W（每瓦算力）成為衡量晶片綠色競爭力的核心指標。

從第 7 節的表格可以看到，資料中心 GPU 的 TOPS/W 在 2024 年已普遍突破 4 TOPS/W，甚至超過早期邊緣晶片。這一提升來自多方面驅動力：製程從 7nm 進化到 4nm 降低了電晶體開關能耗；晶片設計採用近存計算（如 HBM 堆疊靠近核心）、細粒度電源門控；軟體層面利用動態電壓頻率調整（DVFS）在不影響時延要求時降低頻率。

尤為值得關注的是，先進封裝和矽光互聯技術正將 TOPS/W 推向新階段。台積電 CoWoS 封裝使計算芯粒與 HBM 整合，減少資料搬運的物理距離，顯著降低 IO 功耗。據 AMD 2023 年 MI300 系列釋出會資料，通過 3D 封裝和統一記憶體架構，其 Infinity Fabric 互聯功耗相比傳統多卡 PCIe 方案下降了超過 80%。未來，共封裝光學（CPO）技術有望將資料中心的全域性能效再提一個量級。

對於終端自動駕駛，TOPS/W 直接關係到能否使用被動散熱。若晶片 TOPS/W 過低，域控制器必須加裝風扇或液冷，成本和可靠性大幅惡化。因此，車規晶片普遍堅持 5-10 TOPS/W 的高能效設計，即使犧牲一些絕對峰值。

12. 產業政策與地緣格局中的 TOPS 出口管制

TOPS 不僅是一個技術引數，更被地緣政治推上了風口浪尖。美國商務部工業與安全域性（BIS）在 2022 年 10 月 7 日及 2023 年 10 月 17 日兩次更新對華出口管制規則，將部分高階 AI 晶片的出口限制直接與 TOPS 和“效能密度”掛鉤。

規則設定了兩項關鍵閾值：I.3A090.a 將總雙向傳輸頻寬 600 GB/s 以上，且 INT8 TOPS 超過 600 且 TOPS 與 I/O 頻寬乘積超過某一閾值的晶片納入管制；I.3A090.b 則針對 4800 TOPS 以上的、不具備高頻寬互聯的晶片。為此，NVIDIA 必須推出符合禁令的中國特供版 GPU（如 A800、H800，以及後來的 RTX 4090 D），後者通過閹割 Tensor Core 數量和互聯頻寬，使其理論 INT8 TOPS 降至合規範圍。

這種政策干預，直接扭曲了全球 TOPS 供給格局，促使中國加速自主 AI 晶片研發。受此影響，地平線、寒武紀思元、華為昇騰系列等本土晶片在軟體生態和實際效能上的進步速度，比沒有管制情景下更為急迫。TOPS 由此從一個純技術術語升格為帶有戰略管制色彩的數字。據中國半導體行業協會 2024 年公開宣告，國內多家企業已實現 NPU 的 INT8 TOPS 指標突破，但在軟體生態和混合精度支撐方面仍有顯著的追趕路程（公開資料未見詳細可比資料）。

這一地緣變數意味著，未來的 TOPS 競爭不僅是產品力競爭，更是半導體供應鏈安全與自主性的競爭。

13. 市場規模、預測與定價模型（2023-2028）

TOPS 最終落腳於晶片出貨量和市場規模。以下是基於多家研究機構公開資料的梳理與擬合，所有預測均註明信源年份和口徑，無信源處註明“公開資料未見”。

• 整體 AI 晶片市場：據 Omdia 2023 年報告，全球 AI 處理器市場（含 GPU、ASIC、FPGA）在 2023 年約為 440 億美元，預計 2028 年增長至 1,200 億美元，年複合增長率約 22%。該統計口徑包含訓練和推論，其中推論晶片佔比預計從 2023 年的 50% 上升至 2028 年的 60%，TOPS 正逐步成為更主流的需求單位。
• 自動駕駛 AI 晶片：據 Yole Intelligence 2023 年資料，全球 ADAS 與自動駕駛計算晶片市場在 2023 年約為 45 億美元，2028 年有望達到 165 億美元，CAGR 約 29%。中國是最大的單一市場，據賽迪顧問 2023 年公開報告，中國自動駕駛算力晶片市場規模 2023 年突破 100 億元人民幣，約佔全球三成以上。
• 終端 TOPS：據 Counterpoint Research 2023 年分析，2023 年智慧手機 NPU 滲透率已接近 100%，但獨立 AI 加速器 ASIC 在 IoT 領域的市場在 2023 年僅為 8 億美元，預計 2027 年可達 30 億美元。每顆晶片的平均 TOPS 逐步從 1 TOPS 以下向 1-5 TOPS 遷移。
• TOPS 定價模型：雲端端推論 TOPS 的單價正遵循“摩爾式”下降曲線。NVIDIA H100 的約 3958 TOPS（INT8）批次售價約 3 萬美元，摺合約 7.6 美元/TOPS；而終端推論 ASIC 因批次極大和專用設計，成本可低至 0.1 美元/TOPS 以下。這一定價鴻溝決定了雲端端追求超高 TOPS 和大視訊記憶體，終端追求專用和極致成本。

值得注意的是，上述預測均基於 2023 年生成式 AI 爆發的態勢，若未來模型壓縮技術和推論效率取得突破性進展，同 TOPS 能支撐的業務量將成倍上升，實際市場需求量可能會被高估或轉向更小規格晶片。公開資料未見對各情景的詳細定量機率調整。

14. 未來趨勢：超越當前 TOPS 的極限

TOPS 並非一成不變的指標，其自身正在經歷變革。

• 精度收斂：隨著 FP8 的普及，以及微軟、NVIDIA 等推動的“微縮放格式”（如 MXFP4、MXINT8）進入行業標準，未來的 TOPS 將不再僅指 INT8，而是涵蓋多種 8 位及以下的混合精度。晶片將標稱“FP8 TOPS”或“MX Format TOPS”，指標複雜度增加。
• 算力提升路徑轉移：單純增加 MAC 單元數量的收益正在遞減，因為記憶體牆越來越難以逾越。未來的 TOPS 增長將更多依賴 3D 堆疊（將 MAC 陣列與 SRAM 垂直整合）、存內計算（在記憶體陣列內部完成乘加運算，原則上 TOPS 可提升一個數量級）和 光學計算（利用光干涉完成矩陣乘法，實驗室已演示數十 PetaOPS 的算力）等“超越摩爾”的技術。存內計算晶片在 2024 年已有部分 AI 加速晶片產品原型亮相，其標稱 TOPS/W 可達到現有晶片的 10 倍以上（據 IEEE ISSCC 2024 論文，公開資料）。
• 軟體定義 TOPS：未來晶片可能不再有固定的 TOPS 數值，而是通過可重構資源，在 INT4/8/FP8/稀疏/密集之間動態分化算力。同一塊晶片，執行稀疏量化小模型可瞬間爆發數千 TOPS，執行標準稠密模型則回到基線，其 TOPS 更像是“算力區間”而非單一峰值。
• 標準化與基準測試的迭代：MLPerf 聯盟已在 2024 年引入大語言模型和推薦系統的新基準，並嘗試度量“每 Token 能耗”或“每影像能耗”，這可能會催生“有效 TOPS”或“有用 TOPS”的行業新共識，逐步淡化理論峰值 TOPS 的絕對主導地位。

但不論如何演化，TOPS 作為算力的基本量綱，在可預見的未來仍將牢牢佔據 AI 晶片評估體系的中心位。

15. 總結：超越“數字競賽”的認知架構

TOPS——每秒萬億次運算——像一個在 AI 晶片世界中通行的貨幣單位，但它不是一個“硬通貨”，其購買力隨精度、軟體、記憶體頻寬和實際負載而大幅波動。

給技術決策者的核心建議是：永遠不要僅憑 TOPS 選型。必須結合目標模型的 INT8/FPS 真實吞吐量（通過實測或 MLPerf 等公開基準）、開發工具鏈成熟度、能效以及長期獲得晶片的供應鏈安全性綜合評估。給普通讀者的啟示：當你在一場釋出會上聽到“高達 XXX TOPS 的驚人算力”時，腦海中應自動浮現“理論峰值、INT8 精度、受限於記憶體和軟體”這一串補註。

TOPS 的演進史，是一部半導體工程不斷突破物理極限、同時被市場與地緣政治雙重塑造的算力進化史。理解 TOPS，就是理解智慧裝置的能量脈搏。只有在資料、電源和程式碼共同匯成的江河裡，那一萬億次運算才能真正奔騰出智慧的浪花。