NPU 應用（NPU-Accelerated Application）

3 秒看懂

一句話： NPU 應用 = 把 AI 推論/部分訓練任務從通用 CPU/GPU 搬到專用神經網路加速器上跑，換取更高能效比和更低延遲的軟體與服務生態。

類比： CPU 像瑞士軍刀什麼都能幹但不精，GPU 像流水線工廠擅長並行，NPU 則是為”矩陣乘法”這種 AI 核心運算量身定製的專用流水線——把每瓦特算力榨到極致。

3 分鐘產業解釋

為什麼需要 NPU？

AI 大型模型爆發後，算力需求呈指數增長，但兩個瓶頸制約了傳統架構：

能效牆：通用 GPU 執行神經網路推論時，大量電晶體用於通用邏輯而非計算，能耗效率存在天花板。行動端/邊緣裝置電池有限，無法承受 GPU 的功耗密度。
成本牆：資料中心推論請求量巨大，如果全部依賴 GPU 叢集，TCO（總擁有成本）高昂。NPU 的專用架構可以在特定負載下用更少矽面積、更低功耗完成相同任務。

NPU 應用的三層生態

層級	內容	典型形態
端側應用	手機/PC/可穿戴裝置上的本地 AI	即時摳圖、語音助手、端側大型模型推論
邊緣應用	工業/安防/車載場景的低延遲 AI	智慧攝像頭、ADAS 輔助、工業質檢
雲端端應用	資料中心的高吞吐推論服務	搜尋排序、推薦系統、雲端遊戲 AI NPC

產業鏈定位

晶片設計商 → NPU 硬體（整合在 SoC 中或獨立加速卡）
    ↓
編譯器/工具鏈商 → 模型最佳化、運算元編譯、量化部署
    ↓
應用開發商 → 建置 NPU 加速的終端軟體/雲端服務
    ↓
終端使用者 → 體驗到更快、更省電的 AI 功能

15 分鐘專家深入

NPU 應用的技術本質

NPU 應用不是簡單地”跑在 NPU 上”，而是一個完整的 軟硬協同最佳化工程：

1. 模型適配層

原始模型（如 PyTorch/HuggingFace 格式）需要經過量化（FP32 → INT8/INT4/NF4）、剪枝、運算元融合 等轉換
不同 NPU 架構對運算元支援度不同，需要針對性適配
典型工具鏈：ONNX Runtime、TFLite、廠商私有 SDK（如高通 QNN、Apple Core ML）

2. 編譯與排程層

NPU 通常有分層的儲存架構（暫存器 → SRAM → DRAM），編譯器需要完成 tiling（資料分塊）、流水線排程
某些運算元若 NPU 不支援，需要 fallback 到 CPU/GPU 執行（異構排程）

3. 執行時層

管理記憶體分配、任務佇列、功耗控制
端側場景需要動態調頻以平衡效能與功耗

關鍵效能指標

指標	含義	為什麼重要
峰值算力（TOPS）	每秒可執行的整型運算次數	決定理論吞吐上限（注意：實際利用率通常遠低於峰值）
能效比（TOPS/W）	每瓦特功耗可提供的算力	端側裝置的核心約束指標
延遲（ms）	單次推論的端到端時間	影響使用者體驗（如語音助手響應）
模型支援度	可直接加速的運算元/模型型別	決定實際應用場景的廣度
片上 SRAM 容量	NPU 可直接訪問的快取記憶體大小	減少 DRAM 訪問，對 Transformer 類模型尤為關鍵

⚠️ 資料警示：各廠商公佈的 TOPS 值通常基於峰值理論值，實際應用中因記憶體頻寬瓶頸、運算元利用率等因素，有效算力可能僅為峰值的 30%-70% [估算，具體視模型和架構而異]。

NPU 與 GPU/CPU 的本質區別

           CPU                    GPU                     NPU
        ┌─────────┐          ┌─────────┐           ┌─────────┐
        │ 複雜控制 │          │ 大規模並行│           │ 資料流最佳化│
        │ 邏輯單元 │          │ 算術單元 │           │ 專用資料通路│
        │ (少核強) │          │ (眾核弱) │           │ (MAC陣列) │
        └────┬────┘          └────┬────┘           └────┬────┘
             │                    │                      │
        通用計算              平行計算                矩陣計算
        靈活但低效            吞吐高但功耗大           高能效但場景受限

NPU 的核心架構特徵：

大規模 MAC（乘累加）陣列：直接對映矩陣乘法
片上 SRAM 為主的資料流架構：減少 DRAM 頻寬依賴
低精度計算單元：原生支援 INT8/INT4，而非像 GPU 那樣以 FP32/FP16 為主

技術原理

NPU 核心計算單元

┌──────────────────────────────────────────────────┐
│                   NPU 晶片                        │
│  ┌─────────────────────────────────────────────┐ │
│  │            MAC 陣列（核心計算引擎）            │ │
│  │  ┌─────┬─────┬─────┬─────┐                 │ │
│  │  │ MAC │ MAC │ MAC │ ... │  ← 數百至數千個  │ │
│  │  └─────┴─────┴─────┴─────┘                 │ │
│  │       × (多行/多列)                          │ │
│  └─────────────────────────────────────────────┘ │
│                      ↕ 資料搬運                    │
│  ┌───────────────────────┐  ┌───────────────────┐│
│  │    片上 SRAM（數MB級）  │  │  控制邏輯/排程器  ││
│  │  （權重快取/啟用快取）  │  │                  ││
│  └───────────────────────┘  └───────────────────┘│
│                      ↕                           │
│  ┌─────────────────────────────────────────────┐ │
│  │            DRAM 介面（HBM/LPDDR）            │ │
│  └─────────────────────────────────────────────┘ │
└──────────────────────────────────────────────────┘

推論加速的數學本質

神經網路推論的核心運算為：

Y = Activation(X × W + Bias)

其中 X × W 是矩陣乘法，佔推論計算量的絕大部分。

NPU 的最佳化思路：

空間多工：將矩陣展開到 MAC 陣列的物理維度上平行計算
低精度量化：將 FP16/BF16 的權重和啟用量化為 INT8/INT4，單次運算能耗可降低 [數量級估算，具體比例與工藝和實現相關]
資料本地化：將權重預載入到片上 SRAM，避免反覆訪問 DRAM

Transformer 模型在 NPU 上的挑戰

大語言模型（LLM）的 Transformer 架構對 NPU 提出了特殊要求：

注意力機制的 KV Cache 需要大量片上儲存
自迴歸解碼是序列的，難以充分利用 MAC 陣列的並行度
長序列推論對 SRAM 容量和頻寬要求極高

這解釋了為什麼端側 NPU 執行大型模型時，通常需要配合 量化 + KV Cache 壓縮 + 稀疏化 等技術。

技術演進史

階段	時間	關鍵里程碑
萌芽期	2016-2017	華為麒麟 970 首次整合獨立 NPU 單元（具體型號名稱待廠商確認）；Google 釋出 TPU v2
端側普及期	2018-2020	高通驍龍、Apple A 系列、聯發科天璣紛紛整合 NPU；端側 AI 應用爆發（計算攝影、語音喚醒）
邊緣擴充套件期	2021-2023	NPU 算力持續提升至 [數十TOPS量級，具體型號資料未充分揭露]；邊緣 AI 盒子、智慧攝像頭等場景擴充套件
大型模型適配期	2024-	端側大型模型成為新戰場（3B-7B 引數級別）；NPU 架構開始針對 Transformer 最佳化（增大 SRAM、支援注意力機制加速）

關鍵轉折點：2024 年起，業界從”能跑 AI”轉向”能跑大型模型”，NPU 的 SRAM 容量和記憶體頻寬成為比峰值算力更重要的瓶頸因素。

技術路線對比

NPU vs GPU vs CPU 推論對比

維度	CPU	GPU	NPU（端側）	NPU（雲端端，如 Google TPU）
設計目標	通用計算	大規模並行	端側低功耗 AI	高吞吐 AI 訓練/推論
典型算力	低（<1 TOPS 量級）	高（數百至數千 TFLOPS）	中（數至數十 TOPS）	高（數百 TOPS 以上）
能效比	低	中	高（核心優勢）	中高
靈活性	最高	高	低（運算元受限）	中
延遲	中	中高	低（端側場景）	中
適用模型規模	小模型	大型模型	中小模型（端側）	大型模型
成本	低	高	低（集成於 SoC）	高

主要 NPU 架構路線

路線	代表	特點
SoC 整合 NPU	高通 Hexagon、Apple Neural Engine、聯發科 APU	與 CPU/GPU 共享記憶體，低延遲，適合端側
獨立 NPU 加速卡	Intel Gaudi、Groq LPU、部分國產 AI 晶片	獨立 HBM，算力更高，面向資料中心推論
存內計算 NPU	部分學術/初創公司探索中	在儲存單元內直接完成計算，理論上可突破記憶體牆（尚處早期階段）

上下游

上游（NPU 應用的依賴鏈）

EDA 工具（Synopsys/Cadence）
        ↓
IP 授權（Arm Ethos-N、自研架構）
        ↓
晶圓代工（台積電/三星/中芯）
        ↓
先進封裝（如 2.5D/3D 封裝，用於高階 NPU）
        ↓
NPU 晶片完成

中游（NPU 平台與工具鏈）

硬體平台：整合 NPU 的 SoC（手機/PC）或獨立加速卡
軟體棧：
- 編譯器：將模型圖編譯為 NPU 可執行指令
- 量化工具：精度轉換
- 執行時：排程與記憶體管理
- 運算元庫：NPU 專用的高效運算元實現

下游（NPU 應用層）

應用類別	典型場景	NPU 價值點
計算攝影	夜景增強、人像虛化、超解析度	即時處理，功耗敏感
語音 AI	語音助手、即時翻譯、降噪	低延遲喚醒與響應
端側大型模型	本地對話、文本摘要、程式碼補全	隱私保護，離線可用
智慧駕駛	ADAS 輔助感知、艙內監控	即時性要求高
工業視覺	缺陷檢測、OCR	邊緣部署，成本敏感

關鍵指標（選購/評估 NPU 應用方案時的核心引數）

指標	評估要點
有效 TOPS	區分峰值 TOPS 與實際可用算力；檢視第三方 benchmark 而非廠商理論值
支援的量化精度	INT8 是基本要求，INT4/NF4 支援對端側大型模型至關重要
片上 SRAM 大小	直接影響 Transformer 類模型的 KV Cache 可用性
記憶體頻寬	端側 LPDDR5x vs 雲端端 HBM，差距巨大
運算元覆蓋率	所用模型的運算元是否 100% 被 NPU 加速，還是需要 CPU fallback
軟體生態成熟度	架構支援（PyTorch/TensorFlow/ONNX）、社群活躍度、文件質量
功耗包絡	行動端需關注持續推論功耗而非峰值功耗

供需與市場資料

⚠️ 宣告：以下為定性趨勢判斷，具體資料來源待確認。因檢索受限，未獲取到可引用的第三方報告資料。

供給側：

端側 NPU 已成為手機/PC SoC 的標配元件，滲透率接近 100%（旗艦至中端機型）
雲端端 NPU 加速卡市場仍由 GPU 主導，但 Google TPU、AWS Inferentia 等自研 NPU 在特定場景中獲得一定份額
國產 NPU（如華為昇騰、寒武紀等）在國內市場有政策驅動的需求

需求側：

端側大型模型（3B-7B 引數級別）的部署需求正在推動 NPU 算力升級
企業端 AI 推論成本敏感度提升，NPU 在高吞吐低延遲場景的 TCO 優勢開始顯現
邊緣 AI 部署（安防、工業、車載）是增量市場

供需缺口：

NPU 算力增長速度是否能跟上模型規模膨脹，是核心不確定性
軟體生態碎片化（各廠商工具鏈不統一）可能制約應用開發效率

代表公司與資本對映

型別	代表公司	定位
端側 NPU 整合商	高通（Hexagon NPU）、Apple（Neural Engine）、聯發科（APU）	SoC 內建 NPU，面向手機/PC
雲端端自研 NPU	Google（TPU）、AWS（Inferentia/Trainium）、Microsoft（Maia）	自研自用，服務雲端客戶
獨立 AI 晶片公司	Groq（LPU）、Cerebras、寒武紀、地平線、黑芝麻	專注 AI 加速器
軟體/工具鏈	Qualcomm AI Engine、MediaTek NeuroPilot、Intel OpenVINO	提供 NPU 軟體棧
模型最佳化/部署	ONNX Runtime、TensorRT（NVIDIA）、MLC-LLM	模型編譯與部署架構

資本對映邏輯：

關注 NPU 生態的”賣鏟人”：EDA、IP 授權、先進封裝
關注工具鏈/編譯器層的公司（軟體鎖定效應強）
關注特定垂直場景的 NPU 解決方案商（如車載 AI 晶片）

投資邏輯

看多邏輯

端側大型模型是確定性趨勢：隱私需求 + 離線可用 + 降低雲端端推論成本，推動端側 NPU 算力需求持續增長
滲透率仍有提升空間：從旗艦向中低端下沉，從手機向 PC/IoT/車載擴充套件
軟體生態帶來鎖定效應：一旦開發者依賴某 NPU 平台的工具鏈，遷移成本高
國產替代邏輯：地緣政治因素下，國內 NPU 需求有政策支撐

看空/風險因素

GPU 仍是大型模型訓練/推論的主流：NPU 在大型模型場景中的份額有限
軟體生態碎片化：各廠商工具鏈互不相容，增加開發成本，可能拖累應用落地速度
模型與硬體的 co-design 不確定性：如果未來模型架構變革（如 Mamba 等非 Transformer 架構），當前 NPU 的架構最佳化可能失效
算力過剩風險：端側 AI 應用的實際使用頻率可能低於預期

關鍵觀測指標

端側可執行的模型規模上限（當前約 7B 引數，趨勢向上）
NPU 工具鏈的第三方模型覆蓋率
端側 AI 應用的月活/日活資料
雲端端推論中 NPU vs GPU 的 TCO 對比報告

常見誤讀糾偏

誤讀 1：「NPU 的 TOPS 值越高，AI 效能越好」

糾偏：TOPS 是峰值理論值，實際效能取決於：

記憶體頻寬瓶頸（端側 LPDDR 頻寬遠低於 NPU 計算需求）
運算元利用率（很多運算元無法完全對映到 NPU 的 MAC 陣列）
實際量化精度（INT4 TOPS 不等於 INT8 效能）

建議：關注具體模型（如 Llama-7B、Stable Diffusion）的實際推論延遲和吞吐，而非單純的 TOPS 數字。

誤讀 2：「NPU 會取代 GPU」

糾偏：NPU 和 GPU 定位不同：

GPU 擅長大型模型訓練和通用平行計算，靈活性高
NPU 擅長特定推論任務的能效最佳化，但靈活性低
短期內兩者是互補關係，而非替代關係。訓練仍需 GPU，端側推論更適合 NPU。

誤讀 3：「端側 NPU 可以輕鬆執行大型模型」

糾偏：端側執行大型模型面臨多重約束：

記憶體容量有限（手機通常 8-16GB 總記憶體，系統佔用後留給模型的不多）
NPU 片上 SRAM 有限，KV Cache 需要頻繁回寫 DRAM
量化到 INT4/INT2 會帶來精度損失
實際體驗（token/s 生成速度）可能與雲端端差距明顯

誤讀 4：「所有 AI 推論都適合用 NPU 加速」

糾偏：

NPU 最擅長的是計算密集型的矩陣運算（如卷積、全連線）
對於訪存密集型或邏輯密集型的任務（如後處理、分支判斷），CPU 可能更高效
某些動態 shape 的模型（如目標檢測中數量不定的檢測框）在 NPU 上排程困難

學習路徑

入門（1-2 天）

理解 NPU 的基本概念與定位：本文 + 各廠商產品頁
瞭解 NPU 與 GPU/CPU 的區別
體驗一次端側 AI 應用（如手機的計算攝影、語音助手）

進階（1-2 周）

學習神經網路推論的基本流程（量化、編譯、部署）
瞭解至少一個 NPU 工具鏈（如高通 QNN、MediaTek NeuroPilot、ONNX Runtime）
閱讀 NPU 架構的基礎論文/技術文件（如 Google TPU 論文、Arm Ethos-N 白皮書）

深入（1-3 月）

實操：將一個模型（如 MobileNet、Llama-7B）編譯部署到 NPU 並分析效能
學習 NPU 編譯器最佳化（tiling、排程、運算元融合）
研究 Transformer 在 NPU 上的最佳化挑戰（KV Cache、注意力計算、稀疏化）
關注行業動態：端側大型模型進展、NPU 架構演進、工具鏈生態

一句話總結

NPU 應用是 AI 推論從雲端端走向端側的基礎設施，其核心價值在於以專用架構換取能效比，但實際落地效果高度依賴軟硬體協同最佳化與模型適配，投資/技術判斷時需穿透 TOPS 數字看實際部署表現。

延伸閱讀與來源

型別	來源	說明
原始論文	Jouppi et al., “In-Datacenter Performance Analysis of a Tensor Processing Unit” (ISCA 2017)	Google TPU 架構奠基論文
原始論文	Chen et al., “DianNao: A Small-Footprint High-Throughput Accelerator for Ubiquitous Machine-Learning” (ASPLOS 2014)	中科院 NPU 早期開創性工作
行業報告	各晶片廠商投資者日材料（高通、聯發科、Apple）	NPU 算力與功能演進的一手資訊
開源工具	ONNX Runtime (https://onnxruntime.ai/)	跨平台 NPU 部署工具鏈
開源工具	MLC-LLM (https://github.com/mlc-ai/mlc-llm)	端側大型模型部署架構
社群	Qualcomm AI Hub、MediaTek Dimensity Developer	廠商 NPU 生態與模型庫

⚠️ 資料宣告：本文未成功檢索到第三方市場資料，所有定量指標（如 TOPS、市佔率、成本對比）均基於行業常識性認知的定性表述，不構成精確技術資料引用。如需精確資料，建議查閱各廠商官方財報、IDC/Gartner 行業報告或第三方 Benchmark（如 MLPerf）。