端側 AI

3 秒看懂

端側AI（On-Device AI）是在智慧手機、PC、汽車、IoT裝置等終端上直接完成人工智慧推論，無需將所有資料上傳雲端端。它讓裝置能在離線、低延遲、隱私可控的條件下執行語音識別、影像處理、文本生成等智慧任務，核心依賴終端晶片的異構算力（CPU/GPU/NPU）與模型壓縮技術。

3 分鐘產業解釋

傳統AI應用重度依賴雲端端資料中心，資料往返帶來延遲、頻寬成本與隱私風險。端側AI將一部分模型直接部署在使用者裝置上，推論發生在本地，響應速度毫秒級，且使用者資料不離開裝置。
實現這一範式變化的技術基礎有三：其一，晶片整合神經處理單元（NPU），可高效運行卷積、矩陣乘法等AI運算元，典型配備在驍龍、A系列、天璣等移動SoC中；其二，模型小型化技術，如量化（INT8/INT4）、剪枝、蒸餾，能將數十億引數的模型壓縮到適合行動端記憶體與功耗瓶頸的大小；其三，混合AI架構，端側執行高頻、簡單任務，複雜任務按需呼叫雲端端大型模型協同。
產業驅動來自兩股力量：智慧手機廠商追求差異化AI體驗（拍照增強、即時翻譯、助手），PC和汽車企業借本地大型模型打造生產力與互動賣點。大規模分散終端一旦普及端側AI，推論的算力總需求將遠超任何超大規模資料中心的供給，這是晶片IP廠商、終端SoC設計公司和模型壓縮工具鏈的共同增長機會。

15 分鐘專家深入

從雲端端收縮到端側的遷移並非簡單的硬體替換，它觸及計算體系、模型架構和能效極限的重新平衡。端側AI本質是一個在功耗、儲存、算力、精度四維約束下的最佳化問題。

算力約束
旗艦手機的NPU在INT8算力上可達數十TOPS（具體視代際而定），但相比雲端端A100/H100的PFLOPS級算力相差約2個數量級。這意味著端側無法執行全精度的大型模型（如GPT-4），必須將模型的啟用引數數量級控制在數億到數十億級別（注意：MoE模型的啟用引數≠總引數，端側通常使用稠密小模型或MoE的小型變體，啟用引數遠小於總引數）。一些流程採用“寬體積小模型 + 投機解碼 + 雲端端校驗”的方案來提升生成質量。

儲存頻寬牆
終端DRAM為LPDDR型別，匯流排寬度多采用64位或128位，頻寬約幾十GB/s，遠低於HBM的TB/s級別。AI推論中自迴歸生成的每個token都需要讀取全部模型權重，儲存頻寬直接成為瓶頸。因此端側AI特別重視權重量化和蒸餾，將FP32權重壓縮為INT4時理論尺寸可縮減至1/8，將BF16權重壓縮為INT4時可縮減至約1/4，並可能配合記憶體層次最佳化——將頻繁訪問的引數駐留在NPU片上的SRAM中。

能效與熱約束
手機處理器的TDP僅幾瓦，持續高負載AI任務可能觸發降頻。這是端側區別於資料中心的根本約束。因此，設計人員追求每瓦TOPS指標，NPU微架構針對MAC陣列的資料複用做了大量最佳化，避免片外DRAM的頻繁訪問。Apple的ANE、高通的Hexagon、聯發科的APU均圍繞卷積、注意力等運算元定製專用狀態機和記憶體結構。

隱私與安全
端側AI的核心賣點之一是隱私——使用者語音、照片、文本在本地處理。技術上，這依賴安全區域（如ARM TrustZone、Apple Secure Enclave）與NPU之間的隔離通路，確保模型、權重和輸入資料不被應用層竊取，同時仍允許模型更新和聯邦學習（在不暴露原始資料的前提下傳遞梯度）。

模型部署流程
典型流程為：雲端端訓練一個大型模型（或基座模型）→ 使用蒸餾產生小尺寸學生模型 → 進行訓練後量化（PTQ）或量化感知訓練（QAT） → 轉換為裝置專用格式（Core ML, ONNX, TFLite, QNN等） → 通過NPU編譯器進行運算元對映與圖最佳化 → 在終端執行。

從產業節奏看，2024-2025年是端側大型模型從可演示走向可商用的關鍵視窗。PC端（Intel Meteor Lake/Core Ultra整合NPU）、手機端（驍龍8 Gen3、天璣9300、A17 Pro）都已具備執行數十億引數語言模型的能力，Windows、Android、iOS均提供了系統級AI介面。接下來競爭的焦點將從“能不能跑”轉向“跑得有多好、多省電、多安全”。

技術原理

端側AI的底層在於協同設計（Co-design）：模型結構針對硬體定製，硬體也更多適配新興AI運算元。本節按從演算法到晶片的層次拆解。

模型壓縮技術

• 量化（Quantization）：將模型權重和啟用從浮點數對映到低位寬整數。訓練後量化（PTQ）無需重新訓練，通過校準集確定截斷範圍；量化感知訓練（QAT）在訓練時插入偽量化節點，讓模型學習補償量化誤差。端側主流為INT8推論，最新的硬體（如驍龍X Elite）開始支援INT4。量化帶來的精度損失通過per-channel或per-group細粒度量化緩解。
• 剪枝（Pruning）：移除貢獻小的權重（非結構化剪枝）或整個通道/注意力頭（結構化剪枝）。結構化剪枝更適合硬體加速，因為它能得到規整的稀疏矩陣，NPU可跳過整塊計算。剪枝比例可達50%-90%，從而減少訪存和算力需求。
• 蒸餾（Distillation）：用大教師模型的輸出分佈（logits）或中間層特徵來訓練小模型，使其獲得超越純資料訓練的效能。例如將70億引數模型蒸餾到7億引數，仍保持可觀能力。
• 低秩分解：將權重矩陣近似為兩個小矩陣的乘積，減少引數和計算量，不過較少單獨使用，常與量化結合。
• 神經架構搜尋（NAS）：自動搜尋適合特定硬體的網路結構，如MobileNet、EfficientNet等系列，已經將設計目標從精度轉向精度-延遲/功耗乘積最優。

端側推論的運算元計算圖（示意）

[輸入] 
  →  embed_layer (查表, 記憶體密集)
  →  Transformer Block × N:
        LayerNorm (規約, 細粒度)
        →  Multi-Head Attention:
             Q/K/V投影 (矩陣乘)
             →  Attention Score = Q·K^T / sqrt(d) (矩陣乘)
             →  Softmax (逐元素)
             →  Attention Output = Score·V (矩陣乘)
             →  輸出投影 (矩陣乘)
        →  LayerNorm
        →  FFN: 線性1 → 啟用 → 線性2 (矩陣乘)
  →  output_projection
  →  softmax / 取樣

注意力機制中Q·K^T的矩陣乘具有O(n²d)複雜度（n為序列長度，d為維度），在長上下文下成為瓶頸。端側通常限制序列長度（如2048），並使用FlashAttention等演算法在SRAM內平鋪計算，減少HBM/DRAM訪問。（對於端側LPDDR，資料駐留晶片快取的重要性很高。）

晶片微架構要點

• NPU：多為二維運算陣列（Systolic Array或類似結構），高效處理卷積和矩陣乘累加。內部擁有專用的資料流排程器，能將權重複用、啟用複用、輸出固定等策略最佳化。片上SRAM容量是關鍵效能指標，越大則外部記憶體訪問越少，能效比越高。
• 記憶體子系統：端側SoC共享記憶體，NPU通過系統快取（SLC）或專用快取訪問LPDDR。為了減少功耗，常採用壓縮傳輸和智慧預取。
• 異構排程：CPU核心負責稀疏運算元、控制流和模型載入；GPU適合中等粒度且資料並行的部分；NPU處理規整的密集矩陣運算。合理的排程能平衡功耗與吞吐。

技術演進史

• 2017年前 – 萌芽期
  端側只執行傳統計算機視覺濾波或簡單決策樹。Apple在A11（iPhone 8/X）中推出了第一代神經網路引擎，但侷限於Face ID等特定任務。Android端依賴GPU或DSP執行小型CNN，工具鏈碎片化。

• 2017–2019 – NPU初裝期
  華為麒麟970（2017）首發獨立NPU，用於拍照場景識別；高通在驍龍845開始整合AI引擎，但算力勉強過1 TOPS。Google推出面向行動端的輕量模型MobileNet及TensorFlow Lite。AppleA12的NPU算力達到5 TOPS，Core ML逐步成熟。這個階段落地應用主要是相機增強、語音喚醒和簡單翻譯。

• 2020–2023 – 異構AI普及時
  移動SoC全面進入5 TOPS+時代，INT8算力成為宣傳指標。高通、聯發科、三星均擴充套件NPU架構。微軟Windows on ARM引入AI加速，Intel在第12代Core加入GNA低功耗加速器（後續被NPU取代）。TinyML運動興起，使MCU也能執行AI。模型壓縮方法成熟，量化工具鏈標準化。

• 2024–今 – 端側大型模型元年
  LLM小型化（例如Gemma、Phi、Llama等7B以下版本）使得在旗艦手機上執行對話模型成為可能。高通釋出驍龍8 Gen3，支援100億引數模型推論（量化後）；聯發科天璣9300支援類似能力。Apple在A17 Pro和M4上突出NPU效能，並在iOS 18中引入Apple Intelligence，結合端側與私人雲端運算。Intel酷睿Ultra、AMD銳龍內建NPU，微軟定義Copilot+ PC硬體要求（需NPU≥40 TOPS）。端側AI從功能附加變成系統核心，作業系統廠商、模型廠商和晶片廠商三方深度繫結。未來演進方向是更大規模稀疏MoE模型的端側部署、自適應解除安裝（部分層跑在端側，部分在雲端端）以及聯邦持續學習。

技術路線對比

維度	純雲端端推論	純端側推論	端雲端協同（混合AI）
推論延遲	高（數十上百ms）	極低（<10ms）	低-中，對簡單任務極低
隱私	資料需傳輸到伺服器	資料不離開裝置	敏感資料留在本地
模型規模	千億-萬億引數	數億-數十億引數	端側小模型，雲端端大型模型
功耗（端側）	低（僅網路通訊）	中-高（取決於任務複雜度）	動態，按需使用雲端端
網路依賴	強	無	需要時連線
裝置成本	低算力終端亦可	需要較強NPU/CPU/GPU	中檔以上晶片即可
典型應用	ChatGPT, 雲端端搜尋	即時語音降噪、相機預覽增強	AI助手、郵件分類
核心技術棧	大型GPU叢集、大型模型	模型壓縮、NPU架構	模型分片、自適應解除安裝
晶片代表	NVIDIA H100/B200, AMD MI300	驍龍8 Gen3, A17 Pro, 天璣9300, Intel Core Ultra	驍龍8 Gen3（高通AI引擎支援混合AI架構）, Apple Intelligence
模型格式	開放格式, 如HuggingFace	Core ML, TFLite, QNN, ONNX	統一中間表示，跨平台排程

注：具體晶片代際NPU算力、工藝節點不在此表中列出，因涉及不斷更新且未獲授權揭露的具體規格，請參考各廠商官網。

上下游

上游（基礎技術供應商）

• 晶片IP：ARM（Cortex CPU + Ethos NPU IP），Imagination Technologies（PowerVR NPU），Cadence（Tensilica DSP/Vision NPU），CEVA（NeuPro NPU）。IP廠商提供可授權的NPU設計，是SoC整合的基礎。
• EDA工具：Synopsys、Cadence，提供NPU硬體設計、驗證和編譯器工具鏈。
• 晶圓製造與封裝：台積電、三星、Intel，提供先進製程（如N3、N4系列）和先進封裝（InFO、FOPLP等）以實現高效能低功耗晶片。對於端側SoC，製程直接影響NPU的每瓦效能。
• 模型庫與架構：Google（TensorFlow Lite, MediaPipe）、Meta（PyTorch Mobile, ExecuTorch）、Microsoft（ONNX Runtime）、高通（AI Engine Direct SDK）等。

中游（SoC/platform廠商）

• 行動端：高通（驍龍系列）、聯發科（天璣系列）、Apple（A/M系列）、三星（Exynos）、華為海思（麒麟）、紫光展銳。
• PC端：Intel（酷睿Ultra）、AMD（銳龍AI）、Apple（M系列）。
• 汽車與IoT：高通（Snapdragon Ride/數字底盤）、NVIDIA（DRIVE Orin/Thor，端+邊）、地平線、黑芝麻、恩智浦、德州儀器。

下游（終端品牌及應用）

• 智慧手機：Apple、三星、小米、OPPO/vivo、榮耀等，AI功能日益成為賣點。
• PC：聯想、戴爾、惠普、華碩等推出的AI PC。
• 汽車：特斯拉、理想、小鵬、蔚來等使用端側模型進行座艙互動和輔助駕駛感知。
• AI應用開發商：專做端側模型最佳化的演算法公司，提供拍照美化、語音互動、文件總結等SDK。

模型小型化與壓縮工具鏈提供商（如Neural Magic、SqueezeBits等）連線上游模型與中游硬體，也在產業中扮演重要角色。

關鍵指標

• TOPS（Int8）：衡量NPU理論峰值算力，但需要結合記憶體頻寬和模型計算模式理解，無法簡單橫向比較，不同廠商的Benchmark差異大。實際推論吞吐（token/秒）更具意義。
• 每瓦TOPS：能效比，決定可持續負載和溫升，端側尤為關鍵。一般在中高階晶片上可實現3-5 TOPS/W（估算範圍）。
• 執行模型引數規模：典型的端側LLM從1B到7B（INT4量化），更高參數模型需要雲端端或協同。
• 推論延遲（首個token / 每token時間）：使用者體驗的直接度量。端側純LLM首個token時間在幾百毫秒量級，後續每token幾十毫秒。
• 記憶體頻寬與SRAM容量：從LPDDR5x在128位匯流排下提供約130 GB/s頻寬，NPU片上SRAM容量大小直接影響Transformer中矩陣運算的tile複用效率，從幾百KB到數MB不等。
• 隱私認證：是否通過SOC2、ISO27701等，或裝置端資料處理符合GDPR等法規，尤其醫療、企業場景。
• 模型壓縮率：從FP32到INT4，理論壓縮比8:1，但實際需考慮啟用量化帶來的精度損失，通常用困惑度上升或QA準確率下降來評價。

供需與市場資料

• 需求端：公開資料未見本頁可直接複核的端側 AI 晶片統一市場規模口徑；手機、PC、汽車、IoT 是否納入統計會顯著改變金額，因此不寫具體 2028 年規模預測。智慧手機出貨量、AI PC 滲透率和 NPU 配套率需以 IDC、Counterpoint、Yole 等機構的原始年度口徑為準。
• 供給端：先進製程產能集中在臺積電和三星，對中高階端側晶片至關重要。成熟製程的端側AI MCU（如基於Cortex-M搭配Ethos-U）產能較分散，但專用NPU IP授權及軟體生態供給較集中。
• 當前態勢（2025年初）：高通的驍龍8 Elite、聯發科天璣9400、AppleA18 Pro均大幅提升INT8/INT4算力；Intel和AMD在筆記本領域推廣NPU，Windows Copilot+ PC需求尚在培育期。端側大型模型應用生態仍處在早期，殺手級應用未完全明朗，但廠商積極版面配置以防錯過入口。

（以上為公開產業動態估算，具體數字請參考各公司財報及專業半導體分析機構。）

代表公司與資本對映

• 高通（Qualcomm）：端側AI移動SoC龍頭，驍龍平台整合Hexagon NPU，積極推動混合AI架構，在安卓高階市場佔主導地位。PC端推出驍龍X Elite/Plus，直指Copilot+生態。
• Apple（Apple）：A17 Pro、M4等晶片NPU效能突出，系統深度整合Core ML與Apple Intelligence，軟硬一體，對隱私的強調形成強勢品牌差異。產業鏈封閉但帶動代工與封測需求。
• 聯發科（MediaTek）：天璣系列在中高階和次旗艦市場滲透，AI算力快速提升，與vivo、小米等深入合作端側大型模型。
• Intel & AMD：在PC端推動NPU內建，Meteor Lake / Lunar Lake與銳龍AI 300系列，意圖重振PC市場。產業觀察點包括 AI PC 換機週期、NPU 配套率與軟體生態適配。
• 華為海思：麒麟晶片迴歸，端側AI在鴻蒙生態內閉環，確保供應鏈安全，Mate/P系列引入端側模型。
• 端側演算法/工具商：如Neural Magic（致力於CPU上高效推論，與紅帽有合作），以及邊緣AI平台玩家OctoML等。
• IP公司：ARM（納斯達克上市），其Ethos NPU系列被眾多SoC採用，間接分享端側AI增長。
• 晶圓代工/封測：台積電（TSMC）獨佔多數高階移動SoC製造，三星（Samsung）提供代工並以Exynos參與競爭；長電科技、日月光等封測廠商受益於系統級封裝（SiP）需求提升。

產業傳導邏輯

1. 替代週期主線：AI手機和AI PC的附加價值有望驅動一輪換機潮，關鍵指標包括 SoC 配套率（NPU TOPS 成為標配）和物料成本增加帶來的 ASP 變化。
2. IP核滲透率提升：終端晶片種類從高階向中低端滲透，Arm Ethos等NPU IP授權量增長，代工產能填鋪效應。
3. 工具鏈與演算法層：模型壓縮、端側推論引擎是連線模型與硬體的中間層，具備壁壘的公司具備撬動生態的潛力。
4. 隱私計算與安全：端側AI強調使用者資料安全，硬體安全IP（如ARM TrustZone相關）、聯邦學習方案可能成為差異化點。
5. 風險：① 端側殺手級應用不及預期，導致AI算力“堆料”後未有效轉化成使用者付費意願；② 雲端端模型能力快速提升、延遲成本下降，可能削弱純端側價值，轉向更依賴雲端；③ 功耗和熱問題限制大型模型端側普適，體驗差；④ 碎片化生態導致開發者不願適配，核心平台之爭可能擠出部分玩家。

產業研究指標包括頭部 SoC 企業的全棧交付能力（晶片+軟體棧+開發者生態），以及模型壓縮、安全 IP 等細分領域的技術壁壘。

常見誤讀糾偏

• 誤讀1：“端側AI就是手機本地跑大型模型”
  糾偏：端側不僅侷限於手機，還包括PC、汽車、可穿戴、工業IoT。另外，端側模型並不需要和雲端端GPT-4比引數規模，而是通過混合AI架構完成使用者意圖：隱私簡單任務本地完成，複雜或通用知識任務交雲端端。另外，“端側”不等於完全離線，很多方案依賴於聯邦更新。

• 誤讀2：“NPU TOPS越高越好”
  糾偏：TOPS是理論峰值算力，但端側推論瓶頸往往在記憶體頻寬。Transformer的自迴歸解碼屬於記憶體密集型，高TOPS無法完全發揮。實際效能取決於記憶體子系統、快取架構和模型編譯最佳化。兩家相同TOPS的NPU，生成速度可能相差50%。更應關注每瓦效能、實際能效比和軟體成熟度。

• 誤讀3：“模型量化到INT4就能在任意端側裝置跑”
  糾偏：INT4需要硬體原生支援，對晶片的資料路徑、乘加器設計有專門最佳化，在缺乏INT4硬體支援的舊架構上執行，雖模型精度可保持，但無法獲得INT4的推論加速和能效提升。目前只有較新設計的NPU（如驍龍X Elite等）具備高效INT4推論能力，且對量化技術和校準集非常敏感，需要大量工程調測。

• 誤讀4：“端側AI不需要聯網，因此無網路安全風險”
  糾偏：端側雖不傳資料，但模型和權重本身面臨篡改、模型逆向工程、成員推論攻擊等風險。安全需要從硬體可信執行環境、模型加密與簽名、防側通道攻擊等多層保障，這仍是研究前沿。

學習路徑

1. 基礎：理解深度學習基本運算元（Conv/MatMul/Layernorm/Attention），移動異構計算基礎（ARM big.LITTLE/DynamIQ, 記憶體層次）。
2. 模型壓縮實踐：從TensorFlow Lite or PyTorch Mobile入門，學習PTQ和QAT流程，嘗試對MobileNet或小Transformer進行INT8量化，在真機（Android/iOS）測延遲和精度。
3. 晶片架構入門：閱讀高通Hexagon NPU白皮書，或Arm Ethos-U技術概述，理解資料流、運算陣列、DMA和記憶體管理。
4. 端側大型模型：執行開源專案（如llama.cpp、MLC-LLM）在移動裝置上部署1B/3B模型，分析和最佳化瓶頸。
5. 系統與安全：學習ARM TrustZone/CCA原理，瞭解如何在安全世界執行模型並保護資料。閱讀聯邦學習架構（如TensorFlow Federated）基礎。
6. 產業追蹤：關注高通、聯發科、Apple新品釋出會技術Session；關注AnandTech、Semianalysis、Counterpoint等機構的端側晶片分析。

一句話總結

端側AI是算力從雲端向終端的一次再平衡，它重塑了隱私保護與即時智慧的邊界，未來AI體驗的核心將是端雲端協同而非二選一，晶片設計、模型演算法與作業系統的深度耦合決定這一賽道的高低。

延伸閱讀與來源

• 高通 AI Engine 技術概覽
• Apple 機器學習架構 Core ML
• ARM Ethos NPUs 產品頁面
• TensorFlow Lite 量化文件
• MLC-LLM：通用端側大語言模型部署方案
• 行業報告：Yole Intelligence, Counterpoint Research, IDC 有關 Edge AI 及手機/PC 晶片預測（需訂閱）。

（本文未使用不可公開驗證的具體晶片規格數值；部分趨勢描述基於公開行業共識與廠商釋出會資訊，資料來源標註僅列公開可查入口。）