NPU IP（NPU IP Core）
3 秒看懂
一句話定義：NPU IP 是可複用的神經網路處理器硬體設計模組，以 IP 授權方式嵌入客戶 SoC，讓晶片公司無需從零設計就能獲得 AI 推論能力。
類比：如果說晶片是一棟大樓，NPU IP 就是預製的”AI 電梯模組”——買來直接裝進去就能用，不用自己造電梯。
核心玩家：Arm（Ethos）、Cadence（Tensilica）、Synopsys（DesignWare ARC）、芯原（Vivante）、CEVA
3 分鐘產業解釋
產業位置：AI 晶片設計的”中間層”
┌─────────────────────────────────────────────────────────────────┐
│ AI 應用 / 架構層 │
├─────────────────────────────────────────────────────────────────┤
│ 編譯器 / 工具鏈（與 IP 深度耦合） │
├─────────────────────────────────────────────────────────────────┤
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ │
│ │ NPU IP │ │ GPU IP │ │ DSP IP │ │ CPU IP │ ← IP 核層 │
│ └────┬────┘ └────┬────┘ └────┬────┘ └────┬────┘ │
├───────┼────────────┼───────────┼────────────┼──────────────────┤
│ └────────────┴───────────┴────────────┘ │
│ SoC 整合設計 │
├─────────────────────────────────────────────────────────────────┤
│ 晶圓代工（TSMC/Samsung 等） │
└─────────────────────────────────────────────────────────────────┘為什麼需要 NPU IP？
| 角色 | 需求 | NPU IP 如何解決 |
|---|---|---|
| 手機/PC SoC 廠 | 快速整合 AI 能力，搶佔市場視窗 | 授權 Arm Ethos，6-12 個月整合完成 |
| IoT/安防晶片廠 | 成本敏感，無法養大團隊 | 買成熟 IP，省去 2-3 年研發 |
| 汽車晶片廠 | 需要車規認證、長期維護 | 選有車規經驗的 IP 供應商 |
| 新進入者 | 缺乏微架構經驗 | IP 提供完整 RTL + 工具鏈 |
商業模式本質
┌──────────────┐
│ IP 授權方 │
└──────┬───────┘
│
┌──────────────────────┼──────────────────────┐
▼ ▼ ▼
┌───────────┐ ┌───────────┐ ┌───────────┐
│ 授權費 │ │ 版稅/royalty│ │ 工具鏈/支援│
│(upfront) │ │(per chip) │ │ (subscription) │
│ │ │ │ │ │
│ 一次性支付 │ │ 按出貨量 │ │ 編譯器/量化工具│
│ 數百萬美元 │ │ 每顆幾美分 │ │ 技術支援 │
│ 量級[估算] │ │ 到幾美元 │ │ │
└───────────┘ └───────────┘ └───────────┘15 分鐘專家深入
核心概念拆解
1. NPU 是什麼？
NPU（Neural Processing Unit）是專門為神經網路計算最佳化的處理器，與 CPU、GPU 的區別：
| 維度 | CPU | GPU | NPU |
|---|---|---|---|
| 設計哲學 | 通用、低延遲 | 大規模並行 | 專用資料流 |
| 核心單元 | ALU + 分支預測 | 大量 CUDA Core/流處理器 | MAC 陣列 + 專用排程 |
| 擅長任務 | 邏輯控制、序列 | 訓練、通用並行 | 推論（尤其邊緣） |
| 典型精度 | FP64/FP32 | FP32/FP16/BF16 | INT8/INT4/二值 |
| 功耗效率 | 低 | 中 | 高（推論場景） |
2. IP 核是什麼？
IP 核（Intellectual Property Core）是預先設計好、可驗證的硬體模組，客戶獲得的是：
┌─────────────────────────────────────────────────┐
│ NPU IP 交付物 │
├─────────────────────────────────────────────────┤
│ ┌─────────────┐ ┌─────────────┐ │
│ │ RTL 程式碼 │ │ 物理實現 │ │
│ │ (軟核/固核) │ │ (硬核可選) │ │
│ └──────┬──────┘ └──────┬──────┘ │
│ │ │ │
│ ┌──────▼────────────────▼──────┐ │
│ │ 驗證環境 & 測試向量 │ │
│ └──────────────┬───────────────┘ │
│ │ │
│ ┌──────────────▼───────────────┐ │
│ │ 編譯器/工具鏈/運算元庫 │ ← 軟硬一體 │
│ └──────────────────────────────┘ │
└─────────────────────────────────────────────────┘三種形態：
- 軟核（Soft IP）：RTL 原始碼，靈活度最高，客戶可定製，但需要自己做後端
- 固核（Firm IP）：門級網表，平衡靈活性與 PPA
- 硬核（Hard IP）：GDS 版圖，PPA 最優，但幾乎不可修改
技術原理
NPU 核心微架構
┌─────────────────────────────────────────────────────────────────────┐
│ NPU IP Core 架構示意 │
├─────────────────────────────────────────────────────────────────────┤
│ │
│ ┌───────────────────────────────────────────────────────────────┐ │
│ │ 排程器 (Scheduler) │ │
│ │ 指令解碼 / 任務佇列 / 資料流編排 │ │
│ └─────────────────────┬─────────────────────────────────────────┘ │
│ │ │
│ ┌─────────────────────▼─────────────────────────────────────────┐ │
│ │ 計算陣列 (Compute Fabric) │ │
│ │ ┌─────────────────────────────────────────────────────────┐ │ │
│ │ │ MAC 陣列 (乘累加) │ │ │
│ │ │ ┌─────┐ ┌─────┐ ┌─────┐ ┌─────┐ ┌─────┐ │ │ │
│ │ │ │ MAC │ │ MAC │ │ MAC │ │ MAC │ ··· │ MAC │ │ │ │
│ │ │ └──┬──┘ └──┬──┘ └──┬──┘ └──┬──┘ └──┬──┘ │ │ │
│ │ │ │ │ │ │ │ │ │ │
│ │ │ ┌──▼───────▼───────▼───────▼─────────────▼──┐ │ │ │
│ │ │ │ 累加樹 / 歸約網路 │ │ │ │
│ │ │ └────────────────────────────────────────────┘ │ │ │
│ │ └─────────────────────────────────────────────────────────┘ │ │
│ │ │ │
│ │ ┌───────────────┐ ┌───────────────┐ ┌───────────────┐ │ │
│ │ │ 向量單元(VPU) │ │ 啟用函式單元 │ │ 池化/歸一化 │ │ │
│ │ │ SIMD/向量處理 │ │ ReLU/SiLU... │ │ MaxPool/BN │ │ │
│ │ └───────────────┘ └───────────────┘ └───────────────┘ │ │
│ └───────────────────────────────────────────────────────────────┘ │
│ │
│ ┌───────────────────────────────────────────────────────────────┐ │
│ │ 儲存子系統 (Memory) │ │
│ │ ┌──────────┐ ┌──────────┐ ┌──────────────────────────┐ │ │
│ │ │ 暫存器堆 │ │ SRAM 緩衝│ │ DMA 引擎(訪存控制) │ │ │
│ │ │ (最小) │ │ (MB級) │ │ ── 連線外部 DRAM/片上SRAM│ │ │
│ │ └──────────┘ └──────────┘ └──────────────────────────┘ │ │
│ └───────────────────────────────────────────────────────────────┘ │
│ │
│ ┌───────────────────────────────────────────────────────────────┐ │
│ │ 片上互連線口 (NoC/AXI/AHB) │ │
│ └───────────────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────────────┘關鍵技術機制
(1) 資料流架構選擇
型別一：權重固定 (Weight Stationary)
┌─────────────────────────────────────┐
│ 權重鎖存在 MAC 陣列中 │
│ 輸入資料（啟用值）流過陣列 │
│ 適合：權重複用高的層（卷積） │
└─────────────────────────────────────┘
型別二：輸出固定 (Output Stationary)
┌─────────────────────────────────────┐
│ 部分和鎖存在 MAC 陣列中 │
│ 權重和輸入依次流入完成累加 │
│ 適合：減少累加器讀寫能耗 │
└─────────────────────────────────────┘
型別三：行固定 (Row Stationary)
┌─────────────────────────────────────┐
│ 最大化資料複用（權重/輸入/輸出） │
│ Eyeriss 論文提出，能效最佳化 │
│ 適合：邊緣低功耗場景 │
└─────────────────────────────────────┘(2) 量化精度支援
| 精度 | 位寬 | 適用場景 | 典型準確率損失 | 備註 |
|---|---|---|---|---|
| FP32 | 32-bit | 訓練/高精度推論 | 0% | 基線 |
| FP16/BF16 | 16-bit | 訓練/推論 | <1% | 需要硬體支援 |
| INT8 | 8-bit | 推論主流 | 1-3% [典型估算] | PTQ/QAT |
| INT4 | 4-bit | 邊緣推論 | 3-8% [典型估算] | GPTQ/AWQ |
| INT2/二值 | 1-2-bit | 極端邊緣 | >10% | 研究為主 |
量化對效能的影響（定性）：
- 位寬減半 → MAC 陣列吞吐量理論翻倍（相同面積）
- 但需要校準/微調，增加部署複雜度
(3) 關鍵效能公式
理論峰值算力（TOPS）= MAC 數量 × 2 × 時脈頻率
例：256 個 MAC × 2 × 1GHz = 512 GOPS = 0.512 TOPS [INT8]
能效比（TOPS/W）= 峰值算力 / 功耗
邊緣 NPU IP 典型範圍：1-10 TOPS/W [估算，視工藝/架構]
有效利用率 = 實際吞吐 / 理論峰值
受限於：記憶體頻寬、資料複用效率、運算元排程開銷
典型：30%-70% [視模型/編譯器最佳化程度]技術演進史
時間線
─────────────────────────────────────────────────────────────────────►
2010s初 2016 2018-2019 2020-2022 2023-2025
│ │ │ │ │
▼ ▼ ▼ ▼ ▼
┌──────────┐ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ DSP+加速器│ │ 第一代NPU IP │ │ 專用NPU IP │ │ NPU+編譯器 │ │ 大型模型推論IP │
│ 混合方案 │ │ 出現 │ │ 成熟 │ │ 一體化 │ │ 興起 │
│ │ │ │ │ │ │ │ │ │
│·CEVA │ │·Cadence │ │·Arm Ethos-N │ │·編譯器成為 │ │·Transformer │
│·Cadence │ │ Tensilica │ │·Cadence Tensilica Vision P6 │ │ 核心差異化 │ │ 專用加速 │
│ Tensilica│ │ Vision P5/P6 │ │·芯原Vivante │ │·端側大型模型 │ │·INT4/稀疏 │
│ │ │·Synopsys │ │ VX系列 │ │ 需求驅動 │ │ 支援增強 │
│ │ │ DesignWare │ │ │ │ │ │ │
│ │ │ ARC EV系列 │ │ │ │ │ │ │
└──────────┘ └──────────────┘ └──────────────┘ └──────────────┘ └──────────────┘
關鍵事件：
• 2016: AlphaGo 推動 AI 晶片熱潮，NPU IP 需求激增
• 2018: 智慧手機 SoC 普遍整合 NPU（華為麒麟、高通、聯發科）
• 2020: 自動駕駛晶片開始大規模採用 NPU IP
• 2023+: 端側大型模型（7B 量化推論）成為新前沿關鍵轉折點
| 時間 | 事件 | 影響 |
|---|---|---|
| 2016-2017 | AI 加速成為 SoC 必備 | NPU IP 從可選變必選 |
| 2019-2020 | 量化技術成熟（INT8 主流化） | 邊緣 NPU 效能跨越式提升 |
| 2021-2022 | Transformer 統治 CV/NLP | 需要 attention 機制加速支援 |
| 2023-2024 | 端側大型模型興起 | NPU IP 需要支援更大訪存/稀疏/長序列 |
技術路線對比
主要 NPU IP 供應商橫向對比
| 維度 | Arm Ethos | Synopsys ARC | Cadence Tensilica | 芯原 Vivante | CEVA |
|---|---|---|---|---|---|
| 典型產品線 | Ethos-U (MCU) / Ethos-N (應用處理器) | ARC HS/EV 系列 | Vision P系列 / AI 系列 | VIP 系列 | SensPro / NeuPro |
| 目標市場 | 手機、IoT、汽車 | IoT、汽車、嵌入式 | 手機、IoT、音訊 | 安防、IoT、汽車 | IoT、音訊、視覺 |
| 典型算力範圍 | U:0.1-1 TOPS; N: 1-10+ TOPS [估算] | 0.1-幾 TOPS [估算] | 1-10+ TOPS [估算] | 1-10+ TOPS [估算] | 0.5-8 TOPS [估算] |
| 核心優勢 | 生態最廣，與 Arm CPU 天然協同 | 超低功耗，可配置性強 | 視覺處理傳統強項 | 價效比，中國市場 | 訊號處理+AI融合 |
| 工具鏈成熟度 | ★★★★★ | ★★★★ | ★★★★ | ★★★ | ★★★ |
| 大型模型支援 | 中等（探索中） | 中等 | 中等 | 追趕中 | 追趕中 |
| 車規認證 | 有（通過合作伙伴） | 有 | 有 | 有 | 有 |
技術路線分化
NPU IP 技術路線
│
┌───────────────┼───────────────┐
▼ ▼ ▼
┌─────────┐ ┌─────────┐ ┌─────────┐
│ MCU 級 │ │ 應用級 │ │ 汽車級 │
│ (μW-mW) │ │ (mW-W) │ │ (W-10W+)│
└────┬────┘ └────┬────┘ └────┬────┘
│ │ │
·極低功耗 ·高效能密度 ·功能安全
·TinyML ·多精度支援 ·高可靠性
·INT8/INT4 ·Transformer ·冗餘設計
·記憶體<1MB ·記憶體MB級 ·長期支援上下游
產業鏈全景
上游（設計資源） 中游（NPU IP 供應商） 下游（IP 整合方/終端）
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
│ │ │ │ │ │
│ · EDA 工具 │ │ · Arm Ethos │ │ · 手機 SoC: │
│ (Synopsys, │ 授權/採購 │ · Synopsys ARC │ IP 授權 │ 高通/聯發科/三星│
│ Cadence...) │──────────────►│ · Cadence │─────────────►│ · 安防晶片: │
│ │ │ · 芯原 │ │ 海思/瑞芯微 │
│ · 工藝 IP │ │ · CEVA │ │ · 汽車晶片: │
│ (TSMC, Samsung│ │ │ │ 地平線/黑芝麻 │
│ 工藝設計套件) │ │ │ │ · IoT: 各類廠商 │
│ │ │ │ │ │
└─────────────────┘ └─────────────────┘ └─────────────────┘
│ │ │
│ │ │
▼ ▼ ▼
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
│ 晶圓代工 │ │ 工具鏈/編譯器 │ │ 終端產品 │
│ TSMC/Samsung/ │ │ (配套銷售/訂閱) │ │ 手機/攝像頭/汽車/│
│ GlobalFoundries │ │ │ │ IoT/PC │
└─────────────────┘ └─────────────────┘ └─────────────────┘關鍵依賴關係
| 上游依賴 | 影響 | 供應商分散度 |
|---|---|---|
| EDA 工具 | 設計效率、驗證覆蓋率 | 高度集中（Synopsys/Cadence/Siemens） |
| 工藝 IP | PPA、良率 | 高度集中（TSMC/Samsung） |
| ARM CPU IP | SoC 整合協同 | 事實壟斷（Arm） |
關鍵指標
評估 NPU IP 的核心維度
| 指標類別 | 具體指標 | 說明 | 典型量級[估算] |
|---|---|---|---|
| 算力 | Peak TOPS（INT8） | 理論峰值，不含稀疏 | 0.1-20+ TOPS |
| 能效 | TOPS/W | 每瓦算力，決定續航/熱設計 | 1-10+ TOPS/W |
| 面積效率 | TOPS/mm² | 影響晶片成本 | 視工藝差異大 |
| 精度 | 支援的量化位寬 | INT8/INT4/INT2/FP16 | INT8 為主流 |
| 模型覆蓋 | 支援的運算元/架構 | CNN/Transformer/MoE | 持續擴充套件中 |
| 記憶體 | 片上 SRAM 大小 | 決定可處理模型大小 | 256KB-幾MB |
| 頻寬 | 外部記憶體介面頻寬 | 大型模型推論瓶頸 | 視配置 |
| 利用率 | 實際/理論峰值 | 編譯器+硬體協同效率 | 30%-70% [估算] |
| 靈活性 | 可配置程度 | 陣列大小/精度/功能 | 視 IP 型別 |
為什麼這些指標重要？
┌─────────────────┐
│ 終端需求 │
│ 體驗/續航/成本 │
└────────┬────────┘
│
┌──────────────────┼──────────────────┐
▼ ▼ ▼
┌──────────┐ ┌──────────┐ ┌──────────┐
│ 算力夠不夠 │ │ 功耗夠不夠 │ │ 成本夠不夠 │
│ (TOPS) │ │ (TOPS/W) │ │ (面積) │
└──────────┘ └──────────┘ └──────────┘
│ │ │
▼ ▼ ▼
┌──────────┐ ┌──────────┐ ┌──────────┐
│ 模型能不能 │ │ 散熱/續航 │ │ 晶片售價 │
│ 跑得動 │ │ 能不能接受│