細粒度專家
① 3 秒看懂
將一個大型模型拆成上百個“微型專家”，每個專家只精通一小塊知識。推論時用“鏈式路由”只喚醒其中 2–8 個，不喚醒全體。用 1/10 的算力完成 90% 的任務，推論成本下降 50%–75%，同時專業精度不降反升。
② 3 分鐘產業解釋
核心定義
細粒度專家（Fine-Grained Experts） 是混合專家架構（MoE）的演進形態。傳統 MoE 配備 8–16 個大專家，細粒度方案則將專家數量推到 64–256 個甚至更多。每個專家都是一個微型神經網路，只覆蓋一個極窄的知識子域。配合 Chain-of-Experts（專家鏈）技術，推論時不是一次性路由，而是經多跳依次啟用相關專家——就像一位總排程先找行政專家、再找稅務專家、最後找勞動法專家，逐級遞進，而非一上來把所有專家都叫醒。
關鍵資料速覽
| 維度 | 資料 | 口徑/來源 |
|---|---|---|
| 典型專家數 | 64–256 個 | 代表模型 DeepSeek-V2（160 個）、Qwen1.5-MoE（60 個） |
| 單次推論啟用專家數 | 2–8 個 | 公開論文與技術部落格 |
| 啟用引數佔比 | 約 10%–20% 總引數 | DeepSeek-V2：236B 總/21B 活躍；Mixtral 8x7B：46.7B 總/12.9B 活躍 |
| 推論計算節省 | 較同能力 Dense 模型減少 50%–75% FLOPs | 多家廠商技術報告中聲稱，公開測試結果可查 |
| API 價格降幅 | 有的模型降至 GPT-4 Turbo 的約 1/50 以下 | 2024 年 DeepSeek-V2 官方定價，輸入 1 元/百萬 tokens |
應用場景
- 大型模型推論降本：雲端端 API 呼叫費用斷崖式下降，推動大規模應用。
- 多領域混合任務：自動將法律、醫療、程式碼等不同問題路由到相應專家，不用維護多個模型。
- 端側部署：只把輕量專家載入到手機/邊緣裝置，其餘專家留在雲端端，形成端雲端協同推論。
產業鏈定位
上游（算力晶片 + 高速網路 + 訓練資料）
↓
中游（細粒度 MoE 架構設計 + 分散式訓練 + 推論架構）
↓
下游（雲端端模型 API / 行業垂直模型 / 端側推論部署）細粒度專家處在中游架構創新層，是連線算力與應用的“效率放大器”。
③ 技術原理
3.1 從稠密模型到細粒度 MoE
| 階段 | 時間 | 技術特徵 | 代表工作 |
|---|---|---|---|
| 稠密模型 | 2020 年前 | 每個 token 啟用全部引數 | GPT-3、PaLM |
| 經典稀疏 MoE | 2017–2022 | 少數幾個大專家，單次路由 | Shazeer et al. 2017, GShard, Switch Transformer |
| 粗粒度開源 MoE | 2023 | 8–16 個專家，路由簡化 | Mixtral 8x7B |
| 細粒度 + 鏈式路由 | 2024–2025 | 64–256+ 微型專家，多跳鏈式啟用 | DeepSeek-V2/V3、Qwen-MoE 系列 |
3.2 Chain-of-Experts（專家鏈）工作機制
傳統 MoE 只有一個路由步驟：輸入 token 經門控網路選出 top-k 個專家，一次性輸出。細粒度專家的核心創新是 多跳鏈式路由。
輸入 Token
↓
[第 0 層路由] 貪心或學習式選出 2–3 個“第一跳專家”
↓ ↓
專家 A/B … 生成中間表徵 h₁
↓
[第 1 層路由] 根據 h₁ 再次路由，啟用補充專家 C
↓
[聚合] 加權求和（可能有殘差連線）
↓
輸出為何要鏈式？
回答醫學問題時，第一跳可能找到“醫學通用”專家，產生一個大致的醫學語境；第二跳看到語境中有“新生兒膽紅素”，再啟用一個“兒科肝臟代謝”專家。這種遞進式啟用不僅更準，還能避免一次性啟用太多專家造成算力浪費。
3.3 細粒度的專家設計原則
- 共享專家（Shared Expert）：少數專家處理通用知識（語法、常識），幾乎所有 token 都會啟用它們。
- 路由專家（Routed Expert）：大部分專家高度專用，僅少量 token 啟用。
- 專家粒度：每個路由專家的引數通常控制在 100M–500M（百萬量級），相當於一個輕量級 BERT。
- 負載均衡：引入輔助損失，對啟用次數過多的專家施加懲罰，防止“專家坍縮”。
3.4 雲端端分散式部署架構
細粒度專家的推論天然適合雲端上的 專家並行：
- 不同專家可以駐留在不同 GPU 甚至不同節點。
- 推論引擎根據路由決策動態排程 GPU，僅對啟用專家進行計算。
- 高速互聯（NVLink、InfiniBand、RDMA）在專家間傳輸路由資訊和中間結果。
- 可通過 預取技術 在路由決策做出前預載入可能專家，隱藏通訊延遲。
④ 關鍵引數
細粒度 MoE 模型的效能、成本、部署難度由以下核心引數決定。
| 引數名稱 | 含義 | 典型範圍 | 備註 |
|---|---|---|---|
| 總引數量（Total Params） | 所有專家引數之和 | 50B–1000B | 很大，但推論時只使用一小部分 |
| 啟用引數量（Active Params） | 單次推論實際用到的引數 | 2B–40B | 決定推論延遲與視訊記憶體頻寬消耗 |
| 專家數量（Num Experts） | 路由專家個數 | 64–256 | 越多可越精細，但訓練和路由複雜度上升 |
| Top-K | 每層/每輪啟用專家個數 | 2–8 | 通常 K 很小，維持稀疏性 |
| 專家隱藏維度 | 每個專家的 FFN 大小 | 1024–4096 | 影響每個專家的容量 |
| 路由層數（Num Router Layers） | 鏈式路由的跳數 | 2–3 | 過深可能引入延遲 |
| 負載均衡損失係數 | 防止專家閒置的輔助損失權重 | 0.01–0.1 | 需調參平衡效果 |
| 通訊頻寬需求 | 節點間傳輸中間結果的速度要求 | ≥400 GB/s（NVLink 4.0） | 決定是否適合異構節點部署 |
典型模型引數對照（基於公開資訊）：
| 模型 | 總引數量 | 啟用引數量 | 專家數量 | 每 token 啟用專家數 | 釋出時間 |
|---|---|---|---|---|---|
| Mixtral 8x7B | 46.7B | 12.9B | 8 | 2 | 2023.12 |
| DeepSeek-V2 | 236B | 21B | 160 | 6（含共享） | 2024.05 |
| Qwen1.5-MoE-A2.7B | 14.3B | 2.7B | 60 | 4 | 2024.06 |
| DeepSeek-V3 | 671B | 37B | 256 | 8（含共享） | 2024.12（官方部落格） |
資料來源：各公司 GitHub、技術部落格及論文，日期對應首次開放或釋出；具體啟用路由方式有細微差異。
⑤ 技術路線
細粒度專家並非唯一路徑，它與以下路線並存競爭。
5.1 稠密模型路線
- 代表：GPT-4（部分架構未公開，推測為稠密或粗粒度 MoE）、LLaMA 系列（稠密）。
- 優點：推論延遲低，視訊記憶體管理簡單。
- 缺點：總引數增長必然帶來訓練/推論成本線性飆升。
5.2 粗粒度 MoE
- 代表：Mixtral 8x7B、DBRX 16x12B。
- 優點：相比稠密顯著降本，工程成熟度高。
- 缺點：專家數少，容量有限，容易在某些領域過擬合或泛化不足。
5.3 細粒度 + 鏈式路由（本頁主題）
- 代表：DeepSeek-V2/V3、Qwen-MoE 系列。
- 優點：極致稀疏化，成本更低，可覆蓋更多知識子域。
- 缺點：訓練穩定性要求極高，通訊瓶頸顯著，架構支援仍在同步完善。
5.4 動態專家生成（前瞻方向）
- 思路：不預設固定專家池，而是在推論時動態建立/組合 expert 權重。
- 特點：極度靈活，但計算開銷大，公開資料未見可商用系統。
路線對比簡表：
| 維度 | 稠密 | 粗粒度 MoE | 細粒度 MoE |
|---|---|---|---|
| 推論成本 | 高 | 中 | 低 |
| 訓練成本 | 極低（同參數量） | 中高 | 高 |
| 知識覆蓋粒度 | 粗 | 中 | 細 |
| 工程複雜度 | 低 | 中 | 高 |
| 主流時間 | 2023 年前 | 2023–2024 | 2024–2025 |
⑥ 上游
細粒度專家對上游供給提出新要求。
6.1 AI 晶片
- GPU：NVIDIA H100、B200 是訓練與推論主力。支援稀疏計算、FP8 等，對 MoE 有加速庫。
- TPU/NPU：Google TPU v5p、華為昇騰 910B 等需針對性適配 MoE 並行與通訊。
- 關鍵需求：高記憶體頻寬（HBM3e）、多卡高速互聯（NVLink 4.0 900 GB/s）。
- 市場狀況：2024 年全球 AI 訓練/推論晶片市場約 800 億美元（綜合多家分析機構估算口徑，含 GPU 及定製晶片），中國受出口管制影響，晶片獲取受限，轉向國產替代。
6.2 高速互聯
- 機內互聯：NVLink、AMD Infinity Fabric，確保專家間通訊低延遲。
- 節點間互聯：InfiniBand NDR400、RoCE v2，400Gb/s 以上。
- 影響：若互聯頻寬不足，細粒度專家的“分散式推論”將受嚴重製約，拖慢 token 生成速度。
6.3 訓練資料
- 需要高質量多領域語料，每個子領域必須有充足樣本，否則對應專家訓練極差。
- 強調資料去重與領域平衡，防止部分專家因資料不足被“閒置”。
- 來源：公開網路文本、書籍、程式碼庫、學術論文、專業領域資料庫等。
6.4 訓練與推論架構
- 訓練架構：Megablocks（Stanford 開源）、Meta 的 Expert Parallel、阿里自研等。
- 推論架構：vLLM、SGLang、TensorRT-LLM 均已或正在加入細粒度 MoE 支援，支援專家解除安裝、預取等。
- 企業需投入大量工程力量適配內部叢集。
⑦ 下游
7.1 雲端端模型 API
- 直接面向開發者，按 token 定價。細粒度 MoE 使價格大幅下降，刺激長尾應用爆發。
- 代表：DeepSeek API、阿里雲端通義千問 API、Mistral 平台等。
- 商業模式：低價格高併發，對算力排程能力提出更高要求。
7.2 行業垂直模型
- 可把某些領域專家單獨抽取或微調，生成金融、法律、醫療等專模，部署在私有雲端或行業雲端。
- 優勢：安全合規、推論成本低，無需全量載入 600B 引數。
7.3 端側與混合推論
- 智慧手機/PC 晶片（如高通 AI Engine、Apple Neural Engine）可載入少量微型專家，複雜請求回雲端端專家。
- 端雲端混合推論架構開始出現，但標準未統一，2025 年仍在早期驗證階段。
7.4 對應用生態的影響
細粒度專家帶來的低成本推論，可能讓 AI Agent、自動化工作流等準即時應用不再是成本瓶頸，加速軟體 AI 化。下游客戶（ISV、SaaS 廠商）是間接受益者。
⑧ 受益公司
以下基於公開產品與分析整理，不構成任何投資意見。
國際
| 公司 | 相關模型/產品 | 受益邏輯 |
|---|---|---|
| Switch Transformer, GLaM | MoE 先驅，擁有 TPU 生態，訓練/推論全棧 | |
| Mistral AI | Mixtral 8x7B 系列 | 開源 MoE 旗艦，建置開發者生態及 API 服務 |
| Meta | LLaMA 系列研究中 | 公開表示探索 MoE 路線，開源推動生態 |
| Databricks | DBRX | 開源 MoE，服務企業客戶 |
| NVIDIA | GPU + Megablocks 支援 | 上游硬體受益方，不管誰用 MoE 都需更多 HBM |
中國
| 公司 | 模型/產品 | 具體表現 |
|---|---|---|
| 深度求索 | DeepSeek-V2, V3 | 細粒度 MoE 標杆，API 價格極低，建立技術優勢 |
| 阿里巴巴 | Qwen1.5-MoE, Qwen2.5-MoE | 國內 MoE 開源主力，多規格覆蓋 |
| 字節跳動 | 豆包大型模型 | 內部大規模 MoE 實踐，公開資料較少，定性推斷 |
| 月之暗面 | Kimi 智慧助手 | 追求長上下文與高效推論，技術路線未完整揭露 |
| 百度 | 文心大型模型 ERNIE 系列 | 在 MoE 方向有技術儲備與專利 |
| 華為 | 昇騰晶片 + 異構計算架構 | 國產晶片受益方，使能 MoE 訓練/推論的基礎設施 |
標註為“公開資料未見”或“定性推斷”之處表示截至 2025 年 3 月無確切官方揭露。
⑨ 市場規模
公開資料未見專門統計“細粒度專家”的獨立市場，但可從相關推論市場推斷：
-
AI 推論晶片與伺服器市場
- 據 IDC 2024 年報告口徑，全球 AI 推論市場規模預計在 2025 年達到 640 億美元左右（含雲端端與邊緣）。
- 細粒度 MoE 大幅降低單位推論成本，可能加速推論需求彈性，從而擴大推論晶片總需求量。
-
大型模型 API 服務市場
- 2024 年中國大型模型 API 價格戰激烈，各廠商以極低價格（如 0.5 元/百萬 tokens）爭搶長尾市場。
- 細粒度 MoE 的低成本優勢是廠商敢於打價格戰的底氣之一，預計將推動 API 呼叫量指數增長。
- 未出現權威機構對“細粒度專家驅動的 API 營收”進行單獨估算，公開資料未見。
-
訓練市場
- MoE 訓練通常比同性能稠密模型訓練成本更高，因為總引數大，需更多視訊記憶體與通訊。2024 年 DeepSeek-V3 訓練一次的成本官方報告約 600 萬美元（僅算力，2024 年 12 月部落格）。細粒度專家可能推高訓練硬體需求。
以上皆為引用機構報告與官方公開資訊，非預測或投資建議。
⑩ 玩家對比
| 模型 | 廠商 | 總引數量 | 啟用引數量 | 專家數 | 每 token 啟用專家 | 開源 | API 定價（輸入，元/百萬 Token）* | 關鍵釋出時間 |
|---|---|---|---|---|---|---|---|---|
| Mixtral 8x7B | Mistral AI | 46.7B | 12.9B | 8 | 2 | Apache 2.0 | 約 0.5–1.0 美元（未折算） | 2023.12 |
| DBRX | Databricks | 132B | 36B | 16 | 4 | 開源 | 公開資料未見獨立 API 定價 | 2024.03 |
| DeepSeek-V2 | 深度求索 | 236B | 21B | 160 | 6（含共享） | 開源（部分權重） | 1 元 | 2024.05 |
| Qwen1.5-MoE-A2.7B | 阿里雲端 | 14.3B | 2.7B | 60 | 4 | 開源 | 約 0.5 元（阿里雲端百鍊平台） | 2024.06 |
| DeepSeek-V3 | 深度求索 | 671B | 37B | 256 | 8（含共享） | 開源 | 2 元（輸入） | 2024.12 |
定價口徑為各自官方公佈的標準價格，單位換算為人民幣或美元；不同時段可能有調整。部分模型擁有更小或更大的變體，此處取代表性版本。
對比要點：
- 專家數量與啟用引數的比值直接影響成本和延遲。
- DeepSeek-V3 在極高總引數下仍保持低啟用引數，成為引數效率巔峰。
- Mixtral 以較小體量實現不錯的效能，是價效比標杆；但其粗粒度導致某些細分領域能力可能不足。
⑪ 風險
技術風險
- 專家坍縮：訓練過程中大量專家被“閒置”，實際可用專家遠低於設定值，導致模型退化為低效的稠密模型。
- 路由脆弱性：路由網路的微小擾動可能改變專家選擇，產生輸出不一致。
- 通訊瓶頸：分散式推論時，若網路頻寬低於 400GB/s，生成速度大幅下降。
- 評估困難：難以量化和單獨考察每個專家的貢獻與安全性，對齊難度大。
工程風險
- 訓練成本前置：雖然推論省錢，但訓練需要更多 GPU 視訊記憶體和通訊，部分團隊無法承受。
- 架構碎片化：各廠各自最佳化，開源架構之間的模型權重、路由格式互不相容，阻礙生態。
- 全量載入難題：即使只啟用少量專家，部署時通常仍需把全部專家載入進視訊記憶體，形成視訊記憶體負擔（DeepSeek-V3 需要至少 8–16 張 H100 才能執行）。
產業與倫理
- 長尾衰減爭議：部分研究指出，細粒度 MoE 在高資源領域表現好，但低資源長尾任務可能弱於同規模 Dense 模型。
- 透明度問題：專家內部決策難以解釋，合規審查時可能遇到麻煩。
- 資料授權隱患：細粒度專家對特定領域資料需求強烈，容易觸犯資料版權邊界。
⑫ 誤讀糾偏
誤區 1：“專家越多越好”
≠ 實際。專家數量超過 200 後，訓練負載均衡難度急劇上升，很多專家“拿不到”足夠資料，最終變成負擔。恰當的數量依賴資料規模與領域多樣性。
誤區 2：“MoE 一定比 Dense 便宜”
≠ 推論便宜，但訓練通常更貴。且部署時需要全量載入引數，對視訊記憶體要求反而更高。對中小公司，可能訓練階段就已觸達預算上限。
誤區 3：“細粒度專家會自動學會人類可理解的知識劃分”
≠ 專家劃分是黑箱，路由依據統計共現而非語義邏輯。一個專家可能既管“稅法”又管“漢堡食譜”，人類無法簡單解釋。
誤區 4：“鏈式路由越深越好”
≠ 多跳路由增加延遲並可能導致誤差累積，2–3 跳幾乎已是工程極限。
誤區 5：“有了 MoE，就不需要大型模型了”
≠ 總引數量依然巨大，只是推論時稀疏啟用。長上下文、多模態等能力仍依賴大容量引數。
⑬ 最新事件（截至 2025 年 3 月）
- 2024 年 12 月 26 日，DeepSeek-V3 釋出，總引數 671B，啟用 37B，採用 256 個細粒度專家、多頭潛在注意力（MLA）等創新，訓練成本約 557.6 萬美元（H800 算力）。其模型權重和論文完全開放。（源：DeepSeek 官方部落格）
- 2025 年 1 月，阿里 Qwen2.5-MoE 系列 傳言將進一步提升專家數和啟用效率，但截至查詢日，公開資料未見完整模型卡與定價更新。
- 2025 年 2 月，vLLM 0.6.3 釋出，宣佈對 DeepSeek-V3 細粒度 MoE 的適配最佳化，支援專家解除安裝到 CPU 記憶體，大幅降低所需 GPU 數量。
- 2025 年 3 月，美國對高階 GPU 的出口管制加嚴，可能影響國產 MoE 模型的訓練規模，業內關注華為 Ascend 910C 能否承接。
以上均基於各官方公告和開源專案釋出頁，非推測。
⑭ 追蹤指標
想持續瞭解細粒度專家發展，可關注以下量化訊號：
- 新模型專家數/啟用引數比：比值越高，代表細粒度效率越極致。
- API 定價變動：DeepSeek、智譜、阿里等平台的定價調整幅度，反映成本推進速度。
- 訓練效率指標：每 1 萬億 token 訓練所需 GPU 小時數，如 DeepSeek-V3 報告的 2.788M H800 GPU 小時。
- 開源架構適配進度：vLLM、SGLang、Ollama 等對細粒度 MoE 的支援成熟度。
- 專家利用率：推論時有多少設計的專家實際被啟用過，理想狀態應接近 100%，路研究報告。
- 視訊記憶體佔用下限：模型部署最低視訊記憶體要求的變動，反映工程最佳化的進展。
- 政策訊號：模型演算法備案、資料版權、出口管制相關檔案。
⑮ 信源
- 學術論文/技術報告：
- Shazeer et al., “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer”, 2017.
- Fedus et al., “Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity”, 2021.
- Jiang et al., “Mixtral of Experts”, arXiv:2401.04088, 2024.
- DeepSeek-AI, “DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model”, arXiv:2405.04434, 2024.
- DeepSeek-AI, “DeepSeek-V3 Technical Report”, arXiv:2412.19437, 2024.
- Qwen Team, “Qwen1.5-MoE: Arriving 2.7B Active Parameters with 14.3B Total…”, 官方部落格, 2024.
- 開源專案/程式碼庫：
- Megablocks (https://github.com/stanford-futuredata/megablocks)
- vLLM (https://github.com/vllm-project/vllm)
- SGLang (https://github.com/sgl-project/sglang)
- 廠商官方定價頁：深度求索、阿里雲端百鍊、Mistral AI 官方文件。
- 行業報告：
- IDC, “Worldwide AI and Generative AI Spending Guide”, 2024 (引用為市場規模參考)。
- 專利/合規：
- 國家網信辦等，“生成式人工智慧服務管理暫行辦法”，2023。
說明：所有財務與市場數字均標註年份、口徑與來源；未找到來源處標“公開資料未見”。本頁僅為技術知識梳理，不構成任何產品推薦、標的建議或漲跌預測。