端側 AI 晶片（On-device AI Chip）
3 秒看懂
一句話定義：端側 AI 晶片是在終端裝置（手機、汽車、PC、IoT 裝置等）本地執行 AI 推論的專用處理器或處理器子系統，核心目標是在嚴格功耗/面積/成本約束下實現高效神經網路計算。
關鍵詞：NPU · 邊緣推論 · 低功耗 · TOPS/W · 片上儲存 · 量化
3 分鐘產業解釋
為什麼需要端側 AI？
雲端端推論面臨三大結構性瓶頸：延遲（網路往返 50-200ms，即時場景不可接受）、隱私（使用者資料上傳引發合規風險，GDPR/個保法趨嚴）、頻寬成本（每秒數十億終端產生的資料無法全部上雲端）。
端側 AI 的本質是把“推論”從雲端搬到裝置上。這意味著晶片需要在 1-10W 量級功耗（手機 SoC NPU 子系統通常 1-3W 峰值）下完成過去需要數十瓦甚至數百瓦 GPU 才能完成的推論任務。
產業規模感
- 智慧手機是端側 AI 晶片出貨量最大的載體——旗艦 SoC 中 NPU 已成標配，2024 年起中端 SoC 也全面整合 NPU。
- 汽車（ADAS/座艙）是增速最快的細分，L2+ 以上每輛車通常需要 10-200+ TOPS 級 AI 算力。
- AI PC 是最新變數：微軟 Copilot+PC 定義了 NPU ≥40 TOPS 的門檻，催生了新一輪 PC NPU 競賽。
- IoT/可穿戴/音訊裝置追求 μW-mW 級始終線上（always-on）AI 推論。
端側 AI 晶片市場（含獨立晶片 + SoC 內整合 NPU IP）規模估算口徑差異較大，通常在 數百億美元量級 [行業報告綜合估算]，具體取決於是否將 SoC 中 NPU 子系統按比例計入。
15 分鐘專家深入
核心設計範式：極致的“能效比”
端側 AI 晶片的設計哲學與雲端端 AI 加速器（如 NVIDIA H100/B100、Google TPU）有本質差異：
| 維度 | 雲端端 AI 加速器 | 端側 AI 晶片 |
|---|---|---|
| 第一優先順序 | 吞吐量/延遲 | 能效比（TOPS/W） |
| 功耗預算 | 300-1000W | 0.001-15W |
| 訓練/推論 | 訓練+推論 | 僅推論（極少數支援微調） |
| 模型規模 | 數十B~數萬億引數 | 數M~數十B引數（量化後） |
| 精度 | FP16/BF16/FP8 | INT8/INT4/混合精度 |
| 儲存 | HBM（頻寬 3-8 TB/s） | 片上 SRAM + LPDDR |
| 部署靈活性 | 通用（CUDA 生態） | 需定製編譯器/執行時 |
架構路線分化
端側 AI 晶片並非單一形態，而是根據應用場景分為幾條清晰的技術路線：
路線一：SoC 內整合 NPU 子系統
- 代表：高通 Hexagon NPU、Apple Neural Engine、聯發科 APU、三星 NPU、Google Tensor TPU
- 特徵：與 CPU/GPU/ISP/Modem 共享 SoC 封裝和記憶體匯流排（LPDDR4x/5/5x），NPU 作為加速單元存在
- 製程：旗艦 SoC 通常採用 最先進製程（截至 2024 年，主流旗艦 SoC 使用台積電 N4/N3 系列等先進節點；需注意 N3 系列仍為 FinFET 結構，台積電預計在 N2 節點引入 nanosheet GAA 電晶體）[台積電公開技術路線圖]
- 這是出貨量最大的端側 AI 晶片形態
路線二：獨立/專用邊緣 AI 加速器
- 代表：Hailo-8/8L、Intel Movidius（Myriad X）、Ambarella CV 系列、地平線（Horizon Robotics）征程系列、寒武紀 MLU Edge 系列
- 特徵：獨立晶片，面向特定場景（安防、機器人、汽車），通常有獨立的 SRAM 配置，部分支援 DDR 介面
- 功耗範圍跨度大：從 ~2.5W（Hailo-8L 典型功耗）到 ~15W（高算力車載方案）
路線三：MCU 級 AI 處理器
- 代表：STMicroelectronics STM32N6（整合 NPU）、Nordic Semiconductor nRF 系列（TinyML）、ADI MAX78000（CNN 加速器）、瑞薩 RA 系列
- 特徵：mW 級功耗，片上 SRAM 僅數百 KB ~ 數 MB，面向始終線上的感測/音訊/視覺喚醒
- 典型場景：關鍵詞喚醒（“Hey Siri”）、異常檢測、手勢識別
路線四：AI PC NPU
- 代表：高通 Snapdragon X Elite/Plus（Hexagon NPU）、英特爾 Core Ultra 系列（NPU）、AMD Ryzen AI（XDNA NPU）
- 特徵：PC SoC 內整合 NPU，面向端側生成式 AI（本地 LLM、Copilot 離線推論）
- 微軟定義 Copilot+PC 需 NPU ≥40 TOPS [微軟官方定義]，推動了 NPU 算力軍備競賽
關鍵技術挑戰
1. “記憶體牆”是最大瓶頸 端側晶片的推論效能往往受限於片外記憶體頻寬而非算力本身。以一個 7B 引數 LLM 為例：
- INT4 量化後模型權重約 3.5-4 GB
- LPDDR5x 頻寬約 50-70 GB/s [廠商規格]
- 純記憶體搬運即推論延遲的主要來源
因此，端側 AI 晶片設計的核心是最大化片上 SRAM 容量以減少片外訪存。這直接決定了晶片面積/成本與推論速度之間的 tradeoff。
2. 編譯器與軟體棧是隱形護城河 硬體 TOPS 只是理論峰值，實際模型推論效率取決於：
- 運算元融合（operator fusion）策略
- 記憶體規劃（memory planning / tensor lifetime management）
- 量化方案適配（INT8/INT4/mixed-precision 排程）
- 運算元覆蓋度（不支援的運算元 fallback 到 CPU/GPU，效能斷崖式下降）
高通 AI Engine Direct SDK、Apple Core ML、聯發科 NeuroPilot、Google LiteRT（原 TFLite）等均屬此層。
3. 量化技術是使能技術 端側推論幾乎必然依賴量化：
- INT8：工業界最成熟，精度損失可控（多數視覺任務 <1% mAP 降低），是當前端側部署的“基線精度” [業界共識]
- INT4：2023-2024 年快速興起，GPTQ/AWQ 等權重量化方法使 7B LLM 在手機上可跑，但需關注特定任務精度退化
- 混合精度：關鍵層保持較高精度（INT8/FP16），非關鍵層壓低（INT4），需編譯器配合自動排程
技術原理
NPU 核心計算架構
┌─────────────────────────────────────────────────────────┐
│ NPU Compute Tile │
│ │
│ ┌──────────┐ ┌──────────────────────┐ │
│ │ Vector │ │ Systolic Array / │ │
│ │ Unit │ │ MAC Array │ │
│ │(啟用函式, │ │ (矩陣乘法核心) │ │
│ │ 池化, │ │ INT8/INT4 MAC │ │
│ │ 歸一化) │ │ 通常 128x128 或 │ │
│ └──────────┘ │ 256x256 規模 │ │
│ └──────────────────────┘ │
│ │ │
│ ┌──────┴──────┐ │
│ │ 片上 SRAM │ │
│ │ (權重快取 │ │
│ │ 啟用快取 │ │
│ │ 數百KB~數MB│ │
│ └──────┬──────┘ │
│ │ │
│ ┌──────┴──────┐ │
│ │ DMA / NoC │ │
│ │ 匯流排介面 │ │
│ └─────────────┘ │
└─────────────────────────────────────────────────────────┘
│
┌──────┴──────┐
│ LPDDR5/5x │
│ (共享記憶體) │
└─────────────┘Systolic Array（脈動陣列）：NPU 的矩陣乘法核心。資料從儲存流向陣列中的 PE（Processing Element），每個 PE 執行一次乘累加（MAC）並傳遞結果給相鄰 PE。資料流模式（weight-stationary / output-stationary / row-stationary）影響資料複用效率和片上緩衝需求 [經典 Eyeriss 論文分類]。
MAC 單元精度：
- INT8 MAC：每個週期完成 8-bit 乘法 + 累加，單 MAC 能耗約 ~0.1-0.5 pJ [學術估算，因工藝和實現差異較大]
- INT4 MAC：能效約為 INT8 的 ~2-4×（面積和功耗均降低，但精度風險增加）
- FP16 MAC：能效遠低於 INT8，端側僅在關鍵層使用
片上 SRAM 層級：
暫存器檔案 (Register File) ── 數 KB, <1 cycle, ~pJ/access
│
L1 Scratchpad (NPU 本地) ── 數百 KB ~ 數 MB, 1-2 cycles, ~10 pJ
│
共享 SRAM / Cache ── 數 MB, 數 cycles, ~100 pJ
│
片外 LPDDR5/5x ── 數 GB, 數百 cycles, ~數 nJ ← 功耗/延遲的“斷崖”設計核心：將盡可能多的權重和中間啟用保持在片上 SRAM 中，減少跨越“斷崖”的次數。這就是為什麼即使製程相同，不同廠商的 NPU 實際推論速度差異巨大——片上 SRAM 容量和排程策略決定了真實的能效表現。
資料流與排程
對於一個典型的卷積/矩陣乘法層：
- 權重載入：將權重 tile 從片外搬入 SRAM（如果 SRAM 足夠大，可快取多層權重）
- 輸入特徵圖載入：按 tile 搬入啟用值
- 計算：脈動陣列執行 MAC，結果暫存 SRAM
- 寫回：輸出 tile 搬出（供下一層使用，或最終輸出到記憶體）
關鍵最佳化：
- Tiling（分塊）：將大張量切分為 SRAM 可容納的 tile
- 運算元融合（Operator Fusion）：Conv → BN → ReLU 合併為一個 kernel，減少中間結果的記憶體讀寫
- Double Buffering：一個 SRAM bank 做計算，另一個做 DMA 搬運，隱藏訪存延遲
量化機制詳解
浮點 → 量化推論 過程：
權重 (FP32) ──[離線量化]──> 量化權重 (INT8/INT4)
│
▼
輸入 (FP32) ──[動態量化]──> 量化輸入 (INT8)
│
▼
INT8 MAC 矩陣乘法
│
▼
反量化 → FP32/FP16 輸出
(或直接 INT8 傳遞給下一層)量化公式（對稱量化）：
q = round(x / scale)
x_reconstructed = q * scale
scale = max(|x|) / (2^(bits-1) - 1)Per-channel vs Per-tensor：Per-channel 量化（對每個輸出通道獨立 scale）精度更好，但硬體實現更復雜。端側 NPU 通常支援 per-channel INT8 [各廠商 NPU 規格]。
技術演進史
| 時期 | 標誌事件 | 關鍵變化 |
|---|---|---|
| 2015-2017 | Google Pixel 2 整合 Pixel Visual Core（首款Google定製端側 AI 晶片）；Apple A11 Bionic 首次整合 Neural Engine（雙核，~600 GOPS） | “端側 AI 晶片”概念萌芽；NPU 從無到有 |
| 2017-2019 | 華為麒麟 970 整合 NPU（寒武紀 IP）；高通 Hexagon DSP 開始強化 HVX 向量擴充套件 | NPU 成為旗艦 SoC 標配；學術界密集研究高效架構（MobileNet, EfficientNet） |
| 2019-2021 | Apple Neural Engine 擴充套件到 16 核；高通獨立 Hexagon NPU；Google Tensor SoC 內建 TPU | NPU 從“附加模組”升級為“一等公民”；INT8 推論成為工業標準 |
| 2021-2023 | 智慧手機 NPU 跨過 10-30 TOPS；高通 Snapdragon 8 Gen 2/3、聯發科天璣 9200/9300 NPU 大幅升級 | NPU 算力數量級躍升；Transformer 類模型在端側部署成為熱點 |
| 2023-2024 | 端側 LLM 成為手機廠商核心賣點；微軟定義 Copilot+PC（NPU ≥40 TOPS）；高通 Snapdragon X Elite NPU ~45 TOPS [高通公佈] | 生成式 AI 驅動端側 AI 晶片第二次加速；AI PC 成為新品類 |
| 2024-2025 | Apple Apple Intelligence 部署端側 LLM；多家廠商 NPU 算力達到或接近 50 TOPS（如高通驍龍 8 Elite NPU 約為 75 TOPS（或更高）[高通公佈]）；邊緣推論晶片支援更大型模型 | NPU 算力繼續攀升；端側多模態（視覺+語言+音訊）推論成為新方向 |
技術路線對比
| 維度 | 手機 SoC NPU | 獨立邊緣 AI 晶片 | MCU 級 AI | AI PC NPU |
|---|---|---|---|---|
| 算力範圍 | 10-75+ TOPS（INT8）[廠商公佈] | 1-100+ TOPS | 0.001-1 TOPS | 10-50 TOPS |
| 典型功耗 | 1-5W（NPU 子系統峰值） | 0.5-15W | <50 mW | 2-10W |
| 製程節點 | 3-5nm 級（台積電 N3/N4、三星 3/4nm 等） | 5-16nm（部分高階也用先進製程） | 22-65nm | 3-7nm |
| 片上 SRAM | 數百 KB ~ 數 MB（SoC 內共享） | 數 MB ~ 數十 MB | 數百 KB | 數百 KB ~ 數 MB |
| 記憶體 | 共享 LPDDR5/5x（8-16GB） | 獨立 DDR/LPDDR 或純 SRAM | 無片外 DRAM | 共享 LPDDR5x（16-64GB） |
| 典型模型 | 端側 LLM（1-7B 量化）、視覺模型、語音 | 大規模 CNN/Transformer、多路影片 | 小型 CNN（<1M 引數） | 端側 LLM（7B+ 量化）、多模態 |
| 代表產品 | 驍龍 8 Elite、天璣 9400、A18 Pro | Hailo-8、地平線征程 6、Ambarella CV72 | STM32N6、MAX78000 | 驍龍 X Elite、Core Ultra 200 |
| 商業模式 | IP 授權或 SoC 整合（終端 OEM 採購 SoC） | 獨立晶片銷售 | MCU + AI 加速 IP | SoC 內整合 |
上下游
上游：IP/設計/製造
AI 加速器 IP 授權商 晶圓代工
┌──────────────────┐ ┌──────────────┐
│ ARM (Ethos-NPU) │ │ 台積電 │
│ CEVA (NeuPro) │ │ 三星 Foundry │
│ Synopsys (ARC) │ │ 中芯國際 │
│ 寒武紀 (MLU IP) │ │ 格芯 │
│ Imagination (NX) │ └──────────────┘
└──────────────────┘ │
│ ▼
▼ 先進封裝
EDA 工具 ┌──────────────────┐
┌──────────────┐ │ CoWoS (台積電) │
│ Synopsys │ │ InFO (台積電) │
│ Cadence │ │ 2.5D/3D 封裝 │
│ Siemens EDA │ └──────────────────┘
└──────────────┘中游：晶片設計公司
- 自研 SoC + NPU：高通、Apple、聯發科、三星、Google、華為海思
- 獨立邊緣 AI 晶片：Hailo、地平線、寒武紀、Ambarella、愛芯元智（AXera）
- MCU + AI：ST、NXP、ADI、瑞薩、樂鑫（Espressif）
- IP 授權：ARM（Ethos-U/N 系列）、CEVA
下游：終端裝置與應用
端側 AI 晶片 ──> 手機（最大出貨量）
├──> 汽車（ADAS/座艙，增速最快）
├──> PC/筆記本（AI PC，新興品類）
├──> 安防攝像頭
├──> 智慧家居/可穿戴
├──> 機器人/無人機
└──> 工業 IoT/邊緣閘道器關鍵指標
| 指標 | 含義 | 典型範圍 | 評估陷阱 |
|---|---|---|---|
| 峰值 TOPS | 每秒萬億次運算（理論峰值） | 手機：10-75+；邊緣：4-100+ | ⚠️ 僅反映理論算力，實際利用率受模型/編譯器影響，通常 30-70% |
| TOPS/W | 每瓦特算力（能效比） | 手機 NPU：5-30 TOPS/W；MCU AI：可達 100+ TOPS/W [行業估算] | ⚠️ 測試條件（精度、模型、溫度）差異大，跨廠商對比需謹慎 |
| 實際推論延遲 | 端到端模型推論時間 | 端側 LLM 首 token：數百 ms ~ 數秒；視覺模型：10-100ms | ✅ 最貼近使用者體驗的指標，但需統一模型/解析度/精度條件 |
| 支援的量化精度 | INT4/INT8/FP16 等 | INT8 為基線，INT4 逐步成為標配 | ⚠️ “支援”≠“高效”，INT4 實際加速比取決於硬體原生支援程度 |
| 片上 SRAM 容量 | 可快取的權重/啟用大小 | 數百 KB ~ 數十 MB | ✅ 常被忽略但極關鍵，直接影響大型模型推論效率 |
| 模型生態/運算元覆蓋 | 支援的 NN 運算元型別和架構 | TensorFlow Lite / ONNX / PyTorch mobile | ⚠️ 運算元覆蓋不全 → CPU fallback → 效能斷崖 |
| 峰值記憶體頻寬 | 片外 DRAM 頻寬 | LPDDR5x: ~50-70 GB/s | 端側大型模型推論的核心瓶頸 |
供需與市場資料
需求側驅動
- 智慧手機：全球年出貨量約 12 億部 [IDC/Canalys 行業資料]，旗艦機幾乎 100% 整合 NPU，中端機滲透率快速提升。Apple、三星、小米、OPPO 等均將“端側 AI”作為核心營銷點。
- 汽車：L2+ 滲透率提升（中國市場 2024 年 L2+ 新車滲透率估計超過 50% [行業估算]），單輛車 AI 算力需求從 10 TOPS 級向 100+ TOPS 級演進。
- AI PC：2024 年為“AI PC 元年”，各主要 PC OEM 推出搭載 NPU 的產品。Copilot+PC 定義了 40 TOPS 門檻。
- 安防/IoT：智慧化升級驅動攝像頭、門鎖、音箱等裝置整合 AI 推論能力。
供給側格局
- 手機 SoC NPU：高通、聯發科、Apple（自用）三強主導，三星 Exynos 和 Google Tensor 為第二梯隊，華為海思受制裁影響供應受限。
- 邊緣 AI 晶片：競爭格局較分散，Hailo（以色列）、地平線、寒武紀、Ambarella 各有優勢領域。
- MCU 級 AI：ST、NXP、ADI 等傳統 MCU 巨頭版面配置，但 AI 加速能力差異化尚不顯著。
關鍵資料點（需注意口徑）
- 端側 AI 晶片市場（含 NPU 子系統價值）2024 年估算在 數百億美元 量級 [綜合多家行業報告估算，定義口徑差異導致具體數字差異較大]
- 智慧手機 NPU 滲透率：旗艦機 ~100%，全價位段（含入門機）滲透率仍在提升中 [行業估算]
- 邊緣 AI 推論市場（含晶片+軟體+模組）通常被第三方機構視為高增長方向，但公開摘要口徑差異較大，本頁不寫入未鎖定來源的 CAGR 數字。
代表公司與資本對映
| 公司 | 核心產品 | 技術特徵 | 資本市場 | 產業鏈位置 |
|---|---|---|---|---|
| 高通（Qualcomm） | 驍龍 8 Elite / X Elite NPU | Hexagon NPU，覆蓋手機+PC+汽車 | 美股 QCOM | SoC + NPU IP |
| 聯發科（MediaTek） | 天璣 9400 APU | APU 架構，中高階價效比強 | 臺股 2454 | SoC |
| Apple（Apple） | A18 Pro / M4 Neural Engine | 自研架構，深度整合 Core ML | 美股 AAPL | SoC（自用） |
| Tensor G4 TPU | TPU 架構下放至手機 | 美股 GOOGL | SoC（自用） | |
| Hailo | Hailo-8 / 8L | 資料流架構，高能效 | 未上市 | 獨立邊緣 AI 晶片 |
| 地平線（Horizon Robotics） | 征程 5/6 | BPU 架構，聚焦汽車 | 港股 9660 | 車載 AI 晶片 |
| 寒武紀（Cambricon） | 思元系列 / IP 授權 | 中國 AI 晶片代表 | A 股 688256 | 雲端端+邊緣 AI 晶片 |
| Ambarella | CV72 / CV75 | 低功耗視覺 AI | 美股 AMBA | 邊緣視覺 AI |
| ARM | Ethos-U / Ethos-N NPU | NPU IP 授權模式 | 美股 ARM | IP 授權 |
| STMicroelectronics | STM32N6 | MCU 內整合 NPU | 泛歐交易所 STM | MCU + AI |
| 愛芯元智（AXera） | AX650N 等 | 邊緣視覺 AI | 未上市 | 邊緣 AI 晶片 |
| 瑞芯微（Rockchip） | RK3588 NPU | 中國中低端 SoC | A 股 603893 | SoC |
產業鏈觀察架構
核心判斷架構
需求側支撐因素：
- 需求確定性高：端側 AI 是 AI 產業鏈中少數“量價齊升”的環節——NPU 滲透率提升（量）+ 單顆 SoC 中 NPU 矽面積佔比上升（價）
- AI PC 催化：PC NPU 從 0 到 1 的品類創新，40 TOPS 門檻帶動 NPU 矽面積和成本提升，SoC 廠商 ASP 上行
- 端側 LLM 落地：量化技術 + 軟體最佳化使 7B 級 LLM 在手機上可用，驅動換機需求和 NPU 算力升級
- 汽車 AI 滲透：L2+ 普及 + 智慧座艙，單車 AI 晶片價值量上行
風險/謹慎點：
- 硬體差異化收斂：NPU 的“紙面 TOPS”趨於同質化，真正的差異化在軟體棧和模型最佳化，這增加了產業判斷的難度
- 雲端端 vs 端側的邊界模糊：5G/衛星通訊頻寬提升可能削弱“必須在端側跑”的論點；但隱私和延遲需求是結構性的
- 需求節奏不確定：端側 AI 功能（如手機 AI 助手）能否真正驅動使用者換機，尚需驗證
- 估值分化：頭部 SoC 廠商（高通、聯發科）估值已部分反映 AI 預期；獨立 AI 晶片公司（Hailo、地平線等）估值差異大，需關注實際出貨和營收兌現
產業鏈觀察維度
| 維度 | 相關環節 | 備註 |
|---|---|---|
| 算力升級 | SoC 設計公司（高通、聯發科）、代工（台積電，NPU 矽面積增大） | NPU 使用先進製程，帶動先進代工需求 |
| 儲存 | LPDDR5/5x 供應商（三星、SK 海力士、美光） | 端側 LLM 對記憶體容量和頻寬要求提升 |
| 封裝 | 先進封裝（台積電 InFO 等） | SoC 整合度提升帶動封裝需求 |
| 軟體/工具鏈 | 模型最佳化工具（量化/蒸餾/剪枝）、端側推論架構 | 軟體是使能層，但純軟體公司稀缺 |
常見誤讀糾偏
❌ 誤讀一：“TOPS 數字越高，AI 推論越快”
真相：TOPS 是峰值理論算力，實際推論速度取決於多個因素：
- 記憶體頻寬：端側 LLM 推論通常是記憶體頻寬受限（memory-bound），不是算力受限。100 TOPS 的晶片如果只有 LPDDR5 的頻寬，跑 LLM 可能不比 50 TOPS + 更大 SRAM 的晶片快。
- 模型-硬體適配度：編譯器能否高效排程模型到 NPU，決定實際利用率（通常 30-70%）。
- 運算元覆蓋：不支援的運算元會 fallback 到 CPU/GPU，導致效能斷崖。
結論：TOPS 是必要不充分條件。評估端側 AI 效能應看特定模型的端到端推論延遲和吞吐量，而非紙面 TOPS。
❌ 誤讀二：“NPU 是端側跑 AI 的唯一方式”
真相：端側 AI 推論可通過多種計算單元完成：
- CPU：ARM CPU 的 NEON/SVE 向量擴充套件可跑 AI，靈活性最高但效率最低
- GPU：Adreno/Mali/Apple GPU 可執行 AI 推論（如 OpenCL/Vulkan compute），對並行度高的大張量效率尚可
- DSP：高通 Hexagon DSP 本身就有向量擴充套件，早期端側 AI 就跑在 DSP 上
- NPU：專用 MAC 陣列，對卷積/矩陣乘法效率最高，但對非標準運算元支援有限
實際部署中，異構排程是常態：編譯器會將模型的不同層分配到最適合的計算單元。NPU 通常是“主力”，但 CPU/GPU/DSP 是“輔力”。
❌ 誤讀三：“端側 AI 晶片只能跑小模型，大型模型必須上雲端”
真相（2024-2025 年的狀態）：
- 通過 INT4 權重量化 + 啟用量化，7B 引數級 LLM 已可在旗艦手機上推論（記憶體佔用 ~4-5 GB），首 token 延遲可達秒級，token 生成速率可達 ~10-30 tokens/s [各廠商演示資料，具體取決於模型和最佳化程度]
- 2025 年，多模態小模型（視覺+語言，1-3B 引數）也在端側逐步部署
- 但 13B+ 引數模型在當前記憶體/算力約束下體驗仍受限
結論：“只能跑小模型”的說法已過時，但“大型模型在端側體驗等同雲端端”也不準確。當前處於**“能跑但體驗有限”**的階段，且在快速改善中。
❌ 誤讀四：“INT8/INT4 量化一定嚴重損失精度”
真相：
- INT8 量化（配合校準資料集）在絕大多數視覺分類/檢測任務中精度損失 <1%，已是工業部署標準實踐 [學術界和工業界廣泛驗證]
- INT4 權重量化（GPTQ/AWQ）在 LLM 上的 perplexity 退化可控，但需關注特定下游任務（如數學推論、程式碼生成）的敏感性
- 混合精度策略可進一步緩解精度問題：關鍵注意力層保持 INT8/FP