Copilot 嵌入

3 秒看懂

Copilot 嵌入 是將具備大語言模型能力的 AI 助手內建到作業系統、應用程式或終端裝置的底層，使其可以在本地或通過與雲端端協同完成意圖理解、介面操控、資料存取與生成。它的本質是 把通用智慧“裝進”裝置裡，從而帶來不依賴網路、低延遲、強隱私保護以及與系統深度互動的體驗。

3 分鐘產業解釋

AI 助手正從“瀏覽器裡的聊天機器人”躍遷為“系統級功能”。微軟推出 Copilot+ PC 並公開 Windows Copilot Runtime，Apple釋出 Apple Intelligence，安卓手機廠商紛紛預裝端側大型模型，它們都在完成同一件事——讓 AI 成為裝置的基礎能力。 推動這一跨越的力量來自三端：使用者對即時響應與資料隱私的要求越來越高，供應鏈提供了算力更強、能效更優的 NPU 與統一記憶體架構，同時大型模型壓縮、蒸餾和量化技術在過去兩年迅速成熟。嵌入式 Copilot 不再是一個獨立 App，而是滲透進右鍵選單、系統設定、拍照、文件編輯、會議記錄等每一個互動角落。

如今，一臺旗艦手機或 AI PC 的算力基線已經形成：需要整合專用神經處理單元，本地執行的模型引數規模從 20 億到 130 億不等，通過 4 位整數量化等技術壓縮到裝置可承受的範圍。整個產業鏈正在圍繞“端側推論硬體—模型壓縮工具鏈—系統級 AI 服務”三條主線重新組織價值分配。

技術原理

嵌入式 Copilot 的工程核心是在功耗、記憶體均高度受限的端側硬體上高效執行 Transformer 類模型，並與作業系統的功能呼叫深度耦合。

1. 感知與分層路由 系統整合一個輕量編碼器，處理語音、影像和螢幕上下文等輸入。一個百萬引數級別的策略模型負責即時判斷請求複雜度：簡單問答、本地摘要以及所有隱私敏感的處理在本地 NPU 或 CPU 上完成；複雜推論、大範圍知識檢索則流式切換到雲端端模型，並在本地對回傳結果做脫敏過濾。這一路由機制需要做到“使用者無感知”，首 Token 延遲目標普遍在 500ms 以內。

2. 模型端側化流水線 雲端端數千億引數的大語言模型先經過知識蒸餾和任務微調，得到一個 20 億–130 億引數的學生模型。隨後通過量化工具鏈（常見如 GPTQ、AWQ 等啟用感知權重量化）將權重從 FP16 壓縮至 INT4，再經圖層融合、常量摺疊和硬體專用編譯器（如 ONNX Runtime、高通 QNN、Apple Core ML）生成終端最佳化格式，由執行時載入至 NPU 執行。

量化過程簡示：W_int = round(W_fp / s + z)，其中縮放因子 s 和零點 z 由校準資料集確定。部分硬體支援 INT4 矩陣乘累加指令，可提供數倍於 FP16 的推論吞吐。為避免 Key-Value 快取耗盡記憶體，工程上常採取 KV 快取 8 位量化、滑動視窗注意力和多查詢注意力組合方案。

3. 投機解碼加速 端側常駐一個極小的草稿模型（數千萬引數），與主模型共用詞表。草稿模型每次自迴歸產生若干候選 Token，主模型再通過一次前向傳播並行驗證這些 Token，直接接受匹配部分，遇到分歧才由主模型更正。該方法在文本生成任務中可提升 1.5–2.5 倍生成速度，且不改變輸出機率分佈，適合利用 NPU 的閒置算力。

4. 本地檢索增強生成 當用戶詢問“上個月的會議紀要中關於預算超支的部分”，系統首先用小型嵌入模型將本地的私有文件、郵件、照片等轉化為語義向量，在加密索引中通過 HNSW 等演算法快速檢索相關片段，然後拼接成提示詞送入推論模型。整個過程在裝置可信執行環境中完成，確保企業機密不離開終端。

5. 系統耦合與語義操控 區別於傳統的對話機器人，嵌入式 Copilot 具備“操作使用者介面”的能力。通過將系統本地 API 定義為 JSON Schema 並注入微調資料集，模型可生成類似 “ 的特殊 Token，由解析器攔截執行。微軟 Windows Copilot Runtime 進一步引入 UI 控制元件樹索引，允許模型通過語義指令直接操控應用介面，無需人工複製貼上。

6. 硬體與記憶體約束 嵌入式 Copilot 的實際瓶頸往往在記憶體頻寬而非 NPU 峰值算力。若要本地執行一個 4-bit 量化後總權重約 7–8 GB 的 130 億引數模型，裝置至少需要 16 GB 統一記憶體，且系統記憶體頻寬須維持在較高水平（行業估算閾值約 60–120 GB/s）。同時，行動端熱設計功耗限制了 NPU 的持續推論時長，電源管理策略必須與推論排程深度耦合。

關鍵引數

衡量嵌入式 Copilot 競爭力的關鍵引數包括（部分行業基線為公開資訊）：

• 端側推論首 Token 延遲：目標通常低於 500ms，直接影響“即時感”。（來源：2024 年微軟 Copilot+ PC 演示與高通官方參考設計目標）
• 生成速率 (token/s)：依靠記憶體頻寬與 NPU 利用率，中等引數模型在文本生成中常見 10–30 token/s，更高指標有賴硬體迭代。（行業公開基準）
• 模型載入時間：冷啟動到進入互動狀態的時間，受快閃記憶體讀取速度和模型格式影響，在旗艦 AI PC 上被設計在 1~2 秒內。
• 能效比 (token/Joule)：關鍵制約移動終端續航，部分廠商宣傳其 NPU 在 INT4 推論下每瓦可產生數十 token。（公開資料未見統一測試標準）
• 精度保留率：量化後模型與 FP16 基準在評測集上的差距，一般期望保持在 2% 以內。
• 本地任務覆蓋率：本地模型可成功處理使用者請求的佔比，當前一流系統宣稱可覆蓋 80% 以上的高頻隱私任務。
• 隱私合規審計：資料是否離開終端、本地沙箱和數字認證強度，構成企業部署的先決條件。
• 微軟定義的 AI PC 最低 NPU 算力：40 TOPS（2024 年 Build 大會發布 Copilot+ PC 規格）。Apple、Google等廠商未公開統一最低數值（公開資料未見）。

技術路線

當前嵌入式 Copilot 的主流技術路線圍繞“端雲端協同架構”、“模型壓縮與生成加速”、“系統級 AI 服務架構”三條主線演進。

端雲端協同方面：

• 純端側模式（飛航模式下仍可完成錄音摘要、即時字幕等任務）。
• 本地優先、雲端端兜底模式（本地置低置信度或無法處理的任務流式切換至雲端端）。
• 本地檢索增強生成模式（本地完成私有資料檢索，將脫敏後的上下文與請求傳送雲端端，生成結果再經本地過濾）。

模型側演進：除了傳統的 Transformer 小模型壓縮，狀態空間模型（如 Mamba）、多頭潛在注意力等架構開始在端側探索，目標是在保持效能的同時大幅減少 KV 快取記憶體開銷。

系統架構側：微軟推出 Windows Copilot Runtime，Apple構築 Private Cloud Compute 並公開部分加密實現，Google在 Android 中合併 Gemini Nano 與系統級服務。三方均試圖將 Copilot 嵌入變成獨佔生態的黏性來源，但開源社群（如 llama.cpp、MLC LLM）也在快速降低端側模型落地門檻，形成與商業方案並存的路線。

上游

嵌入式 Copilot 價值鏈的上游由四個核心環節組成：

AI 晶片與 IP

• NPU 架構設計商（ARM Ethos、Imagination、Ceva 等）向 SoC 廠商提供 IP；
• SoC 整合商：高通（驍龍 X 系列）、英特爾（Core Ultra/Lunar Lake）、AMD（Ryzen AI 300）、聯發科、三星，以及Apple自研 A/M 系列。
• 晶圓製造與先進封裝（台積電、三星等），具體制程節點需察看各廠商最新產品公告（公開資料未見各款 NPU 具體代工份額）。

模型與演算法

• 基礎大型模型訓練方：OpenAI（GPT 系列）、微軟、Google DeepMind（Gemini）、Meta（Llama）等；
• 小模型蒸餾與微調服務商，以及專注於端側模型最佳化的研究團隊。

推論架構與工具鏈

• ONNX Runtime、高通 AI Engine Direct SDK、Apple Core ML、微軟 Olive 模型最佳化工具；
• 量化開源庫（Hugging Face optimum、llama.cpp 等），支撐社群生態。

作業系統與平台

• 微軟 Windows、Apple iOS/macOS、Google Android，提供 API 與安全模型授權。作業系統層直接決定 Copilot 嵌入的整合深度與應用可達範圍。

下游

下游分佈於終端製造、軟體開發與企業應用三個層面：

終端裝置 OEM

• PC 品牌：聯想、戴爾、惠普、華碩、華為、Apple等，將 Copilot 嵌入作為 AI PC 差異點；
• 智慧手機廠商：Apple、三星、小米、OPPO、vivo、榮耀等，已在旗艦機型預置端側大型模型；
• 其他終端：智慧汽車座艙主控、工業閘道器、IoT 邊緣節點等也開始引入嵌入式 AI 助手。

獨立軟體供應商

• 在嵌入式 Copilot 基礎上開發領域特化應用，如 Adobe Photoshop 的指令式編輯助手、Autodesk AutoCAD 的設計建議、醫療資訊系統的病歷摘要、會議軟體中的即時要點總結。2024 年微軟 Build 大會公佈已有數十家 ISV 接入 Windows Copilot Runtime（微軟官方部落格，2024年5月）。

企業 IT 與終端使用者

• 企業 IT 部門負責部署策略、定製內部知識庫嵌入、管理權控。部分大型組織已啟動將基於 Copilot 嵌入的協作工具納入工作流的試點（Gartner 2024年新興技術報告提及趨勢，具體採納率未揭露）。

受益公司

（以下僅列出產業鏈中與嵌入式 Copilot 有關聯的上市或非上市實體，不做任何價值評判或投資建議。）

平台與作業系統: 微軟、Apple、Google母公司 Alphabet。它們定義技術規格，並通過訂閱、應用商店分成和生態鎖定獲得收益。 晶片供應: 高通、英特爾、AMD 在 AI PC 處理器領域正面競爭；聯發科、三星在手機 NPU 市場發力；Arm公司（Arm）提供符合微軟 Copilot+ 規格的 IP 核心。 終端品牌: 聯想、戴爾、惠普、華碩等 PC 廠商，以及Apple、三星、小米等手機廠商。能否將 AI 功能轉化為可持續的硬體溢價、或帶動換機週期，是其發展關鍵（目前各廠商 AI PC 產品線溢價情況未見系統揭露，大部分處於首發試水階段）。 獨立軟體商: Adobe、微軟自身（Microsoft 365）、SAP 等企業軟體廠商，其訂閱增值空間與嵌入式 Copilot 功能深度繫結。 工具鏈及模型最佳化企業: 提供推論引擎最佳化、模型壓縮中介軟體的初創公司與開源基金會，例如 Ollama、llama.cpp 社群等，雖未上市但可能成為生態關鍵基礎設施供應商。

市場規模

由於嵌入式 Copilot 屬新興概念，尚無單一權威統計，但可從終端出貨與晶片環節拼接部分參考值。以下數字均標明年份、口徑與來源：

• AI PC：據 IDC 2024 年 8 月預測，2024 年全球 AI PC（整合 NPU、支援本地 Copilot 功能）出貨量約為 5000 萬臺，佔 PC 總出貨量 18%；到 2027 年，這一比例將升至 60% 左右。
• AI 手機：根據 Counterpoint Research 2024 年 7 月報告，2024 年全球生成式 AI 手機出貨量為 1.1 億部，到 2027 年預計超過 5.5 億部。
• 邊緣 AI 晶片：MarketsandMarkets 於 2024 年釋出的報告測算，包括手機與 PC NPU 在內的邊緣 AI 晶片市場 2024 年規模約 98 億美元，至 2029 年複合年增長率接近 25%。這一統計口徑囊括推論晶片，不限於 Copilot 嵌入專用。
• 企業端側 AI 部署意願：Gartner 2024 年新興技術成熟度曲線報告將“邊緣 AI”列為期望膨脹期關鍵技術，預計 2 – 5 年內主流採用，具體企業實際部署率未揭露。

需要指出，上述預測均基於機構對“具備專用 NPU 並支援本地生成式 AI 功能”裝置的定義，不同機構口徑存在差異，且 2024 年大部分 AI PC 機型尚在上市或早期滲透階段，實際出貨量有待廠商財報驗證。

玩家對比

（基於 2024 年已公開資訊和行業共識定性對比，高/中/低表示相對位置，非精確測量）

維度	微軟 Copilot 嵌入	Apple Apple Intelligence	Google Gemini Nano	三星 Galaxy AI	開源端側方案 (llama.cpp/MLC)
本地模型規模	中-小 (~30億)	小-中 (定製，推測~30億)	小 (~18-32億)	多模型組合(含Google技術)	靈活 (7B–13B 常見)
專用硬體繫結	高通/Intel/AMD NPU	自研 A/M 系列 ANE	自研 Tensor	高通/自研 NPU	依賴廠商驅動，最佳化受限
系統整合深度	極深 (OS Runtime)	極深 (私有索引+私有雲端)	深 (AICore)	中 (應用+部分系統元件)	淺 (需自行封裝)
隱私架構	本地+ 加密雲端端	本地+ 私有雲端運算	本地+ 差分隱私	本地+雲端端(策略模糊)	可純本地
多模態能力	文本、影像	文本、影像、跨應用語義	文本、語音	影像、文本、語音轉寫	社群快速更進
生態開放度	半封閉(與 OEM 合作)	封閉	開放至安卓 OEM	半封閉	完全開放

注：表中具體模型引數數量、NPU 規格來源於各廠商 2024 年開發者大會公開資訊及第三方拆解估算，部分細節未完全公開，僅為行業推斷。

風險

• 功能替代風險：雲端端大型模型持續快速進化，若延時和成本大幅下降，可能削弱使用者對端側完整功能的需求，使硬體換機驅動邏輯打折。
• 標準化與獲利擠壓：NPU 模組若趨於同質化，晶片廠商獲利空間可能被壓縮；終端品牌僅靠預裝 Copilot 難以維持長期硬體溢價。
• 隱私法規延遲與合規成本：多地（如歐盟 AI 法案）隱私法規執行力度有不確定性，若端側處理不能如期成為合規門檻，將對投入回報產生影響。
• 應用生態冷啟動：嵌入式 Copilot 的最終價值取決於第三方開發者是否積極適配。如果開發者在 2025 – 2026 年內未大量湧入，可能出現“有硬體無場景”的尷尬。
• 安全與沙箱突破：具備系統級操控能力的本地模型一旦被越獄或投毒，可能導致使用者資料洩露和誤操作，這構成技術風險敞口，目前僅有限廠商公開過獨立安全審計報告（公開資料未見第三方全面評估）。

誤讀糾偏

• 誤讀：“Copilot 嵌入就是直接把雲端端 ChatGPT/Gemini 的模型裝進裝置” 糾偏：嵌入模型經過重新訓練、裁剪、量化，甚至針對特定 NPU 修改運算元，不是簡單複製。此外，它必須深度整合系統索引、權限控制和工具呼叫，遠不止載入模型權重。

• 誤讀：“端側模型將很快實現雲端端大型模型的所有能力” 糾偏：受限於功耗與記憶體，端側模型引數規模通常低 1–2 個數量級，長上下文、複雜數學推論、高階程式碼生成等任務仍存在懸崖式差距。其定位是覆蓋約 80% 的高頻、隱私敏感任務，其餘由雲端端兜底。

• 誤讀：“NPU TOPS 越高，Copilot 體驗就越好” 糾偏：紙面算力只是上限，實際體驗被記憶體頻寬、軟體棧效率、量化精度損失和熱設計功耗緊密約束。很多情況下記憶體頻寬是更嚴重的瓶頸，高 TOPS 若無法轉化為有效推論吞吐則意義有限。

• 誤讀：“有了端側嵌入，就可以完全擺脫雲端端” 糾偏：絕大部分嵌入式 Copilot 架構是端雲端協同，本地處理簡單和敏感任務，複雜任務仍需雲端端，只是將雲端端呼叫變成以使用者透明的方式進行。完全離線的純端側智慧目前依然只適用於有限場景。

最新事件

（截至 2025 年初，按時間倒序）

• 2025 年 1 月 CES：高通釋出驍龍 X 系列新平台，進一步推向中端筆記本；英特爾展示 Lunar Lake 後續路線圖，強調 NPU 與 CPU/GPU 混合排程；AMD 推出 Ryzen AI Max 系列，標稱 NPU 算力超過 50 TOPS。
• 2024 年 Q4：微軟解讀第一批 Copilot+ PC 使用者資料，稱 NPU 日均使用時長持續增長，具體數字未揭露（微軟官方部落格，2024年11月）。
• 2024 年 9 月：Apple推出 iOS 18 與 macOS Sequoia，首次真正開放 Apple Intelligence 部分功能（寫作工具、相簿語義搜尋等），限定 A17 Pro 與 M1 及以上裝置。
• 2024 年 6 月：Apple WWDC 公佈 Apple Intelligence，強調“Private Cloud Compute”架構，並請第三方審計隱私宣告（公開資料未見完整審計報告）。
• 2024 年 5 月：微軟 Build 大會發布 Copilot+ PC 規格，NPU 最低 40 TOPS，同時展示 Windows Copilot Runtime 和 Recall 功能，隨後 Recall 因安全和隱私爭議推遲釋出。
• 2024 年 Q2：三星在 Galaxy S24 系列中推出 Galaxy AI，整合本地和雲端端混合能力（即時翻譯、筆記摘要等），部分功能限時免費。

追蹤指標

• AI PC/AI 手機出貨佔比：參考 IDC、Gartner、Counterpoint 季度資料，觀測滲透斜率是否匹配產業預期。
• NPU 利用率與記憶體頻寬提升：通過各 SoC 廠商的 SDK 儀表板資料與第三方測試，如 Geekbench ML、MLPerf Mobile 推論分數。
• 首 Token 延遲與生成速率：主流科技媒體（AnandTech、Notebookcheck）的獨立測試值，可作為真實體驗的溫度計。
• 應用生態數量：微軟、Apple、Google應用商店或 ISV 合作案例中明確標註“支援 Copilot 嵌入/端側智慧”的應用數量增長趨勢。
• 企業部署問卷與招標資訊：通過 Gartner、IDC 的 CIO 調查，統計將嵌入式 AI 納入短期採購計劃的企業比例。
• 工具鏈下載與社群活躍度：如 ONNX Runtime 端側版、llama.cpp、Core ML 工具的 GitHub Star 數量與版本更新頻率，反映開發者參與熱度。
• 法規與合規動態：歐盟 AI 法案實施細則、中國生成式 AI 服務管理辦法等對端側處理的要求或豁免條款。
• 安全事件揭露：CVE 漏洞庫中關於本地模型沙箱逃逸或提示注入的條目數量，用以追蹤風險暴露面。

信源

• 微軟 Build 2024 “Copilot + PC” 及 “Windows Copilot Runtime” 官方部落格與架構影片。
• Apple WWDC 2024 “Apple Intelligence” 與 “Private Cloud Compute” 技術白皮書。
• Google Android 開發者部落格關於 “Gemini Nano” 和 “AICore” 的說明。
• IDC, “Worldwide AI PC Forecast, 2024–2028”, 2024 年 8 月。
• Counterpoint Research, “GenAI Smartphone Shipments Forecast”, 2024 年 7 月。
• MarketsandMarkets, “Edge AI Hardware Market – Global Forecast to 2029”, 2024 年。
• Gartner, “Hype Cycle for Emerging Technologies, 2024”, 2024 年 8 月。
• 高通、英特爾、AMD 2024–2025 年面向開發者的 NPU 架構公開會話與效能指南。
• 模型量化綜述：Gholami, A., et al. “A Survey of Quantization Methods for Efficient Neural Network Inference”, 2022.
• 行業社群：MLCommons MLPerf 推論基準 GitHub 倉庫；llama.cpp、MLC LLM 專案文件。

所有技術規格、出貨資料均以各廠商及研究機構最新官方釋出為準，本文中未標註具體數值的部分視為“公開資料未見”，後續更新請追蹤第一手信源。