小模型

3 秒看懂

小模型 (SLM) 是引數量在十億(Billion)級、專為端側/邊緣裝置設計的輕量化AI模型，其核心是 “以效率換場景” 。它並非“縮小的大型模型”，而是通過演算法、架構與軟硬體協同最佳化，在極低的功耗與延遲下，實現與百億、千億引數大型模型可比擬的任務精度。目標是解鎖AI落地的“最後一公里”：讓每臺手機、每輛汽車、每臺IoT裝置都能在完全離線、保障隱私的環境中流暢執行高階AI。

3 分鐘產業解釋

小模型的產業本質，是一場 AI架構從“集中式”向“聯邦式”轉型的技術革命。它解決的並非“能不能做更大”，而是“如何在物理極限和場景約束下做到能用、好用”。

其核心產業價值通過三大槓桿釋放：

1. 解鎖“不可能”場景：金融風控、手術導航、工業即時控制等場景，對延遲要求苛刻（常要求<10ms），且嚴禁資料外傳。小模型在本地完成推論，是唯一解。
2. 重構成本模型：將AI的邊際使用成本從“按呼叫付費”的雲端端API模式，轉變為“一次性部署、長期執行”的固定資產模式。對於億萬級裝置場景，這是顛覆性的成本最佳化。
3. 定義下一代互動入口：Apple、Google、微軟、高通、聯發科等終端生態鏈的核心玩家，正全力建置“雲端-邊-端”協同的AI作業系統，小模型是終端側的基石。這不僅是技術迭代，更是掌控下一代人機互動入口（如AI助手、空間計算）的戰略博弈。當前，AI手機的戰爭已經全面打響，其核心彈藥就是能超高效率執行的小模型。

技術原理

小模型的實現並非單一技術，而是模型壓縮與高效推論技術棧的系統整合。目標是“瘦身、增智、提效”，即在減小模型體積、降低計算量(FLOPs)、壓縮記憶體佔用和推論延遲的同時，最大化維持模型精度。

核心機制與技術公式：

1. 知識蒸餾

   • 基本原理：令一個輕量的“學生模型”模仿一個龐大“教師模型”的行為與泛化能力。學生不僅學習標準答案，更核心是學習教師輸出的軟標籤分佈，從而習得教師對“黑”與“白”之間無限灰度空間的精細理解。
   • 關鍵引數：蒸餾溫度（T）、軟/硬損失權重（α）。溫度控制著知識傳遞的“顆粒度”，溫度越高，教師提供的關於類別相似性的資訊越豐富。
   • 損失函式形式化：Loss = α × Loss_CE(y, p_stu) + (1-α) × T² × Loss_KL(softmax(z_tea/T), softmax(z_stu/T))

2. 模型量化

   • 基本原理：將模型權重和啟用值從32位浮點數（FP32）對映到低位元整數（如INT8/INT4）或浮點數（FP16/BF16），以換取數倍的加速和記憶體壓縮。
   • 技術分支：“訓練後量化”快速便捷，可直接在預訓練模型上實施；“量化感知訓練”通過在訓練中模擬量化噪聲，可獲得更高精度。

3. 模型剪枝

   • 基本原理：識別並移除模型中對精度貢獻最小的冗餘結構，分為“非結構化剪枝”和“結構化剪枝”。前者產生稀疏矩陣，需專用稀疏計算庫/硬體才能實現實際加速；後者直接切除整個濾波器或網路層，可適用於任何通用硬體，對硬體更友好。

4. 高效原生架構設計

   • 基本原理：不依賴對大型模型的壓縮，而是為該規模模型從零設計最有效的基礎架構元件，如使用線性注意力代替二次複雜度的標準注意力、設計輕量化混合專家（MoE）層。

一個典型的SLM推論流程（程式碼塊示意）：

輸入（如一段對話文本）
    ↓
[低維嵌入層] → 將離散Token對映為連續向量
    ↓
[高效骨幹網路]（含32層剪枝最佳化的Transformer Block）
    - 線性注意力層：在長序列處理中，將注意力計算的時間/空間複雜度從O(N²)降為O(N)
    - FFN層（已INT8量化）：權重和啟用值均使用定點整數，由NPU進行閃電加速
    ↓
[少引數任務頭]（如用於文本續寫的線性層）
    ↓
輸出（預測的下文Token序列）

關鍵引數

評估小模型的核心維度，超越了傳統大型模型只看引數量的方式，轉向衡量效能-精度曲線上限的“效能密度”時代。

引數維度	定義	對產業應用的意義	典型量級/指標示例
引數量	模型中所有可學習權重的總數。	決定模型可被壓縮的理論極限和內部知識容量。	通常在100M-10B；端側主流模型進入1B-3B區間。
推論延遲	單次推論完成所需時間(ms)。	由“互動體驗決定”。即時翻譯/遊戲需<50ms，工業控制需<10ms。	高通驍龍8 Gen 3上執行1.8B模型首Token延遲<15ms（2024年，高通官方實測資料）。
模型體積	模型檔案儲存佔用(MB/GB)。	決定分發、下載和駐留記憶體的成本。	INT4量化後，1B模型體積可壓縮至~500MB。
任務精度	在標準基準測試上的得分。	是衡量技術有效性的根本。	微軟Phi-3-mini在MMLU基準上達69%（微軟2024年釋出報告），超過自身引數3倍以上模型。
推論功耗	單次推論的平均能量消耗(mJ)。	是移動和電池供電裝置絕對主宰性的硬約束。	公開實測資料未見，但在相同NPU上執行量化後的小模型，每瓦效能可達GPU的數十倍。

技術路線

目前實現小模型的主要技術路線並非孤立使用，它們各擅勝場，在工業實踐中通常被疊加使用（例如：先蒸餾，再剪枝，最後量化）。

技術路線	核心思路	壓縮/效率提升	精度保持度	硬體依賴性與代表生態
知識蒸餾	小模型學習大型模型泛化能力	中等	極高	低，通用訓練生態（PyTorch, TensorFlow）
模型量化	降低計算和資料存取的位寬	極高 (3-4x)	中-高（強依賴QAT）	極高，需硬體指令集（如ARMv9 Matrix Extension, 高通Hexagon Tensor Accelerator）支援
模型剪枝	移除模型中的冗餘結構	中-高 (1.5-2.5x)	中	中，非結構化剪枝依賴稀疏計算生態（如輝達Ampere架構後）
原生高效架構	從零設計輕量級模型結構	高 (理論最高)	中-高	中，需針對新運算元進行深度編譯最佳化
端雲端協同推論	將任務動態拆分給端和雲端	系統級最高	最高	低，但依賴極複雜的系統級軟體排程（Apple、微軟的主要版面配置方向）

上游

小模型產業的命脈，由 “算力-工具-資料” 的三角供給體系決定。

• 算力基石：端側與雲端端AI晶片

  • 手機SoC巨頭：高通驍龍（Hexagon NPU）、聯發科天璣（APU）、AppleA/M系列（Neural Engine），其NPU峰值算力（INT8）在2024年已普遍突破30 TOPS，是SLM執行的主戰場。
  • PC晶片雙雄：英特爾酷睿Ultra（Meteor Lake NPU，約10 TOPS）、AMD銳龍（Ryzen AI引擎，約16 TOPS），正加速AI PC生態建設。
  • 雲端端訓練平台：NVIDIA H100/B200、AMD Instinct系列GPU，構成蒸餾與訓練大“教師模型”的算力底座。

• 軟體工具鏈：從模型到部署的橋樑

  • 開源架構：PyTorch Mobile、TensorFlow Lite、ONNX Runtime，提供跨硬體的基礎部署能力。
  • 晶片廠商私有SDK：高通AI Engine Direct、AppleCore ML、英特爾OpenVINO，深度繫結硬體，是榨乾硬體效能、實現運算元級最佳化的核心。這些SDK是真正的競爭“護城河”。

• 資料燃料：質變引發量變

  • 高質量語料：以微軟Phi系列為代表的新一代SLM範式揭示，使用“教科書級”的精選資料進行訓練，其效果遠優於用混雜的網際網路資料訓練更大引數規模的模型。資料生成與精細化篩選平台成為上游關鍵環節。

下游

小模型是“以端為本”的技術，其下游核心場景正從“可用”向“好用、個性化、跨裝置”演進。

• 核心硬體載體：

  • 智慧手機：最龐大、最活躍的部署平台。AI修圖、即時通話翻譯、端側AI助手（Siri、Google Assistant的新形態）是核心應用場景。
  • 智慧座艙：離線可用、低延遲的條件使得SLM成為車載語音助手、駕駛員狀態監測、環視感知決策的核心技術。2024年全球超8000萬輛新車成為潛在AI部署終端（據LMC Automotive報告）。
  • AI PC與混合現實裝置：Windows on Arm AI PC、Apple Vision Pro等產品，將小模型作為作業系統級功能和新型空間互動的技術底座。

• 垂直行業應用：

  • 金融：在本地完成敏感資訊的RAG（檢索增強生成），用於經紀投顧助手，滿足合規與隱私要求。
  • 醫療：在醫療裝置內部執行，進行快速異常影像檢出和結構化報告生成。
  • 工業物聯網：為僅配有MCU級的極低功耗裝置提供異常振動/聲音識別、低程式碼預測性維護能力。

受益公司

此分類旨在反映技術產業鏈的相對卡位優勢，不構成任何公司價值判斷。

• 生態建置者（核心受益於應用爆發）

  • Apple：通過“自研晶片+開源模型OpenELM+閉源架構Core ML”的垂直閉環，在AI時代實現軟硬體一體化的極致體驗，將AI內化為使用者體驗的核心而非獨立功能。
  • 微軟：通過Phi系列模型與Windows AI Runtime賦能OEM夥伴，將AI深度整合進Office等全家桶和Azure雲端，形成“端模型+雲端平台+生產力工具”的協同生態，定義“AI PC”作業系統標準。

• 算力底座提供商（確定性最高的“賣鏟人”）

  • 高通：從移動晶片之王向汽車、PC、XR領域挺進，其NPU和AI軟體棧的領先性，是各類終端裝置AI化的核心驅動。
  • Arm：作為全球移動計算架構的基石，通過提供優秀的通用計算核心（Cortex）和AI指令集（如v9的Matrix Extension），是AI算力在端側普及的底層受益者。

• 垂直服務提供商

  • 未上市的模型最佳化平台/初創公司（例如Deci）：聚焦自動模型壓縮和最佳化平台，幫助不具備自研模型能力的裝置商和應用開發商高效獲取符合其硬體限制的最優模型。

市場規模

當前缺乏將“小模型”作為獨立品類進行精確統計的市場報告。以下估算基於相關可量化市場的合理推演。

• 直接市場（SLM訓練與推論硬體）：據IDC 2024年報告，全球具備AI能力的邊緣裝置（以智慧手機、PC為主）的出貨量在未來5年複合增長率達12%，預計到2027年，其產值將構成超5,000億美元的硬體市場。小模型是釋放該算力價值的關鍵軟體負載，其本身雖多開源免費，但圍繞它建置的晶片、工具和終端產品的價值極大。
• 賦能市場（供應鏈口徑）：供應鏈估算，2024年，全球主要安卓手機SoC廠商已開始將帶更強NPU的“支援本地大型模型”作為新一代旗艦晶片（如驍龍8 Gen 3， 天璣9300）核心賣點，其滲透率至2025年預計將超過50%。這直接推動了高階手機換機週期和代工價值提升。
• 軟體與服務市場：包含端側AI應用商店、隱私計算解決方案、企業端側AI服務等新興市場，目前處於萌芽期，無權威機構統計，公開資料未見具體數值，但其長期價值被視為數倍於硬體市場。

玩家對比

主要競爭者基於其縱向整合能力，分為三大戰略路徑：

• 垂直之王（Apple）：完全閉環，從晶片、OS、SDK到應用商店生態一手包辦。此模式的護城河最深，能以系統性工程的思路做到最優的效率和體驗，但開放性和跨平台性極差。
• 生態之王（微軟/Google）：提供“端（模型/OS）+雲端（訓練/推論）+工具（開發平台）”的開放生態。通過開源高質量模型（Phi, Gemma）吸引開發者並制定事實標準，旨在成為AI平台的“安卓”。
• 算力之王（高通/聯發科/英特爾）：他們是所有軟體方案共同的物理底座。它們之間的競爭主要在算力TOPS、功耗和配套SDK的“好用”程度上。其商業模式穩健，只要端側AI市場爆發，他們是確定性最高的受益方。

風險

1. 碎片化陷阱：晶片、指令集、運算元庫、SDK、模型格式之間的碎片化，可能導致開發者在適配和維護上付出不成比例的代價，從而阻礙生態繁榮。這是該領域最大的非技術性風險。
2. 進步悖論：大型模型的能力增長速度可能長期壓制小模型進化後的“最佳表現區間”。大型模型如果能以極低成本實現極高效率，將壓縮小模型的應用場景。
3. 安全挑戰：如何防止部署在幾十億終端上的模型被惡意攻擊、逆向工程、模型權重竊取或投毒，是一個尚未被充分解決的長期挑戰。
4. 商業閉環不確定性：端側AI助手目前多作為硬體賣點存在，尚未形成可持續的應用分成或SaaS收費模式，存在“技術領先但變現困難”的風險。
5. 開源依賴風險：核心高質量SLM多依賴Google、微軟等少數巨頭的開源，若它們突然改變開源協議（如從Apache 2.0轉為收費），將對中下游玩家造成巨大沖擊。

誤讀糾偏

1. 誤讀：“小模型的盡頭就是壓縮引數，所以效能肯定趕不上大型模型。” 糾偏：過時且不準確。小模型發展已脫離單純的“壓縮”階段，進入“高效原生設計”和“知識提純”新範式。微軟Phi系列與AppleOpenELM技術報告表明，使用教科書級高質量資料訓練的小模型，其知識密度極高，可在特定任務基準（如MMLU、數學推論）上，以僅十分之一的引數量，超越引數規模更大的通用模型。其本質差異是**“通才”與“專才”的區別**，而非單純的效能差異。

2. 誤讀：“端側部署小模型，資料不外傳，絕對安全。” 糾偏：不全面。資料不外傳保護了傳輸和使用過程隱私，但這僅是安全的一個面向。模型本身在終端的安全同樣關鍵。攻擊者可能通過對本地模型的多次查詢進行“模型竊取”攻擊，或通過對抗樣本攻擊使模型產生預期外的行為。因此，需要一套全新的包含模型加密、執行環境可信執行環境保護、聯邦學習更新的端側安全體系。

最新事件

（本節記錄截至2025年上半年，該領域重要技術動態）

• 2025年3月：高通釋出下一代驍龍平台，其NPU的INT4算力質變，宣稱首次實現本地以<10瓦功耗執行超過7B引數規模的MoE模型，大幅模糊了端雲端模型的邊界。
• 2025年4月：Apple被報道正與部分關鍵夥伴內測一個龐大且複雜的裝置端任務智慧排程系統，該系統能根據使用者意圖、即時電量和散熱狀況，毫秒級動態決定某AI任務是呼叫本地小模型、私有端側大型模型，還是雲端端GPT-4級模型。此舉被視作是其“端雲端協同”的隱蔽賽點。
• 2025年5月：由清華系創業團隊MiniMax開源的新一代1.5B引數原生小模型在多箇中文評測基準上擊敗同期所有開源SOTA模型，其技術報告中提出的“增強型長程注意力微調機制”在小模型長文本理解領域引發高度關注。

追蹤指標

用於持續觀察產業變化和驗證上述邏輯的先行/同步指標：

• 供給側關鍵指標

  1. Hugging Face月度下載趨勢：關注“phi”、“gemma”、“llama-3b”等模型家族的下載量，是衡量社群生態活力的即時晴雨表。
  2. 旗艦手機SoC的NPU算力與能效比：每年高通驍龍峰會、聯發科天璣峰會和AppleA系列晶片釋出會是該方面的關鍵事件。追蹤其單位INT4算力的功耗。
  3. 主流模型壓縮與部署架構的程式碼提交活躍度：如HuggingFace Optimum使用的企業賬號活動情況、高通AI Hub的模型支援數量增長速度。

• 需求側驗證指標

  1. 具備本地AI功能的手機出貨佔比：追蹤IDC、Counterpoint等機構季度報告，這是驗證小模型在消費端普及速度的核心資料。
  2. 頭部App整合本地小模型的功能數量：觀察主流社交、內容、工具類應用，其離線AI功能（如本地修圖、語音轉文字）的使用滲透率。
  3. 全球資料隱私法規政策更新：歐盟AI Act、中國AIGC監管細則等對將資料處理推向本地的明確鼓勵性條款。

信源

（本詞條資料與事實來源，按可靠性層級排列）

1. 第一梯隊信源（技術原廠官方）

   • 微軟研究院 Phi 系列技術報告：https://arxiv.org/abs/…
   • Google DeepMind Gemma 技術報告：https://arxiv.org/abs/…
   • Apple機器學習研究 OpenELM 報告：https://arxiv.org/abs/…
   • 高通AI開發者門戶與硬體資料：qualcomm.com/developer
   • Arm技術白皮書（關於v9架構及終端AI）：arm.com

2. 第二梯隊信源（權威產業分析與專業媒體）

   • IDC季度與年度終端裝置AI分類追蹤報告。
   • Counterpoint Research月度智慧手機市場及AI功能滲透率分析。
   • LMC Automotive全球輕型車產銷預測資料庫。
   • McKinsey & Company、Sequoia Capital釋出的關於邊緣AI和高效模型的公開行業分析文章。

3. 第三梯隊信源（開源社群與行業共識）

   • Hugging Face 模型庫與Optimum倉庫的高頻文件和討論。
   • MLSys， NeurIPS， ICLR 等頂會關於 Efficient ML， TinyML 和 Edge AI 的研討會論文集。

免責宣告：本內容用於產業技術研究、交流與教育，列出的所有公司、技術、產品均作為行業事實和案例展示，絕對不構成對任何公司證券或產品的投資建議、估值預測、買賣建議、“值得買”推薦或漲跌方向性暗示。讀者需獨立研究和判斷。