專家網路

3 秒看懂

專家網路（Expert Network）是一種每次推論只啟用部分引數的稀疏神經網路架構。通過把模型拆成多個“專家”，並由門控路由器為每個輸入動態挑選極少數專家參與計算，它在算力不變的條件下將模型總容量放大數倍，從而打破傳統稠密網路中計算量與引數量之間的剛性繫結。

3 分鐘產業解釋

常規稠密神經網路處理一個 token 就必須動用全部引數，計算開銷與引數量嚴格正比。專家網路則把模型裡的某些子層（主要是前饋網路 FFN）複製為多個結構相同但權重獨立的小型專家模組，並訓練一個小型門控網路（路由器）來為每一個輸入 token 選擇最擅長的 1～2 個專家。實踐中的主流模式稱為混合專家（Mixture of Experts, MoE）。

對大語言模型（LLM）產業而言，MoE 的核心吸引力在於：同等訓練計算預算下，總引數量可達稠密模型的 3～10 倍，從而獲得更豐富的世界知識和更強的推論能力；推論時只需啟用少數專家，雖然總視訊記憶體佔用巨大，但計算量遠低於同參數量的稠密模型，單位 token 的理論計算成本顯著下降。這一思想直接催生了 Google Switch Transformer、Mistral Mixtral 8×7B、DeepSeek-V2/V3 等一系列重要工作，業界廣泛推測 GPT‑4、Gemini 等旗艦模型也採用了 MoE 架構。

不過，MoE 將技術挑戰從“算力”轉移到了“通訊、視訊記憶體與負載均衡”：訓練時頻繁的 All‑to‑All 通訊對網路拓撲提出極高要求；推論時需要將全部專家駐留在視訊記憶體中，推高了單卡或單節點的記憶體需求；路由器如果分配不均，則部分專家過載、部分閒置，導致效率崩塌。

技術原理

前向計算與門控

給定輸入 x，一個 MoE 層的前向過程為：

y = \sum_{i=1}^{N} g_i(x) \cdot E_i(x)

其中 N 為專家總數，E_i 是第 i 個專家（通常是標準 FFN），g_i(x) 是門控輸出的第 i 個權重。門控網路本質上是一個線性層 mathbf(W)_g 接 Softmax，並通過 Top‑K 稀疏化：

g(x) = operatorname(Softmax)\big(operatorname(TopK)(mathbf(W)_g \cdot x,\; k)\big)

TopK 操作只保留機率最大的 k 個分量，其餘置為 -\infty，從而保證每個 token 僅路由到 k 個專家（常見 k=1 或 2）。入選專家的輸出按相應門控分數加權求和，未啟用的專家不參與本次計算。

負載均衡與容量因子

若不加約束，門控可能將絕大多數 token 導向少數專家，造成專家“旱的旱死、澇的澇死”。業界普遍採用兩類手段：

1. 負載均衡損失：在訓練損失中附加一項懲罰，衡量各專家接收 token 數量與均勻分佈的偏差，促使路由器分散分發。
2. 容量因子：設定每個專家每步最多能處理的 token 數。容量因子 =（batch 總 token 數 / 專家數）× 擴容係數。擴容係數通常取 1.1～1.5，超出上限的 token 會被直接丟棄（overflow）或通過殘差連線繞行。丟棄率過大會損害模型質量，構成重要的工程折中。

訓練與推論的架構差異

• 訓練：每訓練步需對 token 按專家分佈進行全域性 All‑to‑All 通訊，將 token 傳送到對應專家所在的裝置，計算完後回傳。此過程對裝置間高速互聯（如 NVLink、InfiniBand、TPU ICI）極度敏感。
• 推論：全部專家必須駐留在裝置記憶體中，但每次只計算被路由到的專家，因此推論 FLOPs 較低而視訊記憶體需求極高。批處理時，容量因子限制可能導致 token 丟棄，影響吞吐與服務質量。

通訊拓撲示意（ASCII）

       Token Batch
           │
      Gate 路由器
           │
   ┌───────┼───────┐
  E1      E2  ... EN      ← 專家常跨裝置分佈
   └───────┼───────┘
           │
     加權組合輸出

每一 token 僅實際流經 1～2 個專家，其餘專家保持靜息，由此實現模型總容量的橫向擴充套件。

關鍵引數

下列引數決定了 MoE 模型的效能與效率，不繫結單一廠商規格，屬於學術與工程領域通用的設計變數。

• 專家總數 (N)：一個 MoE 層包含的專家數量。開源模型常見 8（Mixtral 8×7B）到 160（DeepSeek-V2 的某些實驗設定），前沿閉源模型可能更多，但具體數字多未公開。
• 每 token 啟用專家數 (k)：通常為 1 或 2。k=1 推論開銷最小（Switch Transformer），k=2 可兼顧路由容錯和表現力（Mixtral、GLaM）。
• 容量因子：決定每步可處理的 token 上限。過小則丟棄率高，過大會增加計算與通訊負擔。
• 負載均衡損失係數：平衡路由均勻度與主任務損失的權重，需通過實驗調優。
• MoE 層放置頻率：通常在 Transformer 中每隔一層或每隔數層才將原 FFN 替換為 MoE 層，以控制通訊/計算比。例如 Mixtral 8×7B 僅將 32 層中的 8 層 FFN 替換為 MoE。
• 總引數量與啟用引數量之比：反映稀疏增益。如 Mixtral 8×7B 總引數約 47B，每次啟用約 13B，啟用比約 27%；如果傳聞中 GPT‑4 採用 8×220B 架構，啟用比可能更低，但 OpenAI 未官方揭露任何引數規格，相關數字均為第三方推測，可信度無法驗證。

注：上述各引數的實際取值和影響，高度依賴訓練資料、模型規模和硬體拓撲，尚無通用的“最優配置”。

技術路線

稠密網路 vs 稀疏 MoE

維度	稠密網路	稀疏 MoE（主流 LLM 用法）
總引數量	與計算量嚴格成正比	可達同計算量稠密模型的數倍
每次推論啟用引數	100%	通常 10%～20%（k/N）
門控機制	無	Softmax + Top‑k 路由
負載均衡要求	無	必須通過損失函式或容量約束
通訊瓶頸	資料並行、張量並行為主，AllReduce 等	All‑to‑All 通訊高度密集
部署難度	視訊記憶體需求 = 引數量	需容納全部專家，遠超啟用引數量
適用場景	延遲敏感、批處理確定性強	知識密集型大型模型，追求總容量和推論效率

專家網路的細分變種

• 稀疏門控 MoE（主流）：即上述 Token‑level 路由，每 token 選 k 專家。
• 共享專家機制：部分模型（如 DeepSeekMoE）設計一部分為“共享專家”，所有 token 必定經過，其餘為“路由專家”動態選擇，以此緩解負載不均和知識冗餘。
• DeepSpeed-MoE 等結構最佳化：通過重排專家引數、引入專家並行策略，提升訓練吞吐與推論靈活度。相關實現已在 Megablocks、DeepSpeed、vLLM 等架構中落地。

上游

專家網路的硬體依賴集中體現在高頻寬記憶體和晶片間互聯兩個領域。

• 高頻寬記憶體 (HBM)：推論時所有專家須駐留視訊記憶體，模型總引數量動輒數百億乃至萬億，推動對更大容量 HBM 的需求。據 TrendForce 2024 年 7 月資料，HBM 在 2024 年全球 DRAM 產業產值中的佔比預計達 20% 以上，較 2023 年的 8% 大幅提升，AI 大型模型尤其是 MoE 架構的普及是主要驅動力（口徑：產值佔比；來源：TrendForce 新聞稿）。具體規模：2023 年全球 HBM 市場約 43.5 億美元，2024 年預估超過 169 億美元（口徑：營收；來源：Gartner 2024 年 5 月報告引用）。
• 片間與節點互聯：訓練 MoE 模型時，All‑to‑All 通訊可能佔據 30%∼50% 的訓練時間，因此 NVLink、PCIe 5.0/6.0、InfiniBand NDR/NDR400 及 Ultra Ethernet 等高速互聯成為關鍵瓶頸。博通、Marvell、NVIDIA 等廠商的交換晶片、光模組、定製互聯 IP 需求因 MoE 而放大。
• AI 加速器架構：部分晶片開始內嵌對稀疏通訊的最佳化，但截至 2025 年 4 月，主流 AI 訓練/推論仍嚴重依賴通用 GPU（NVIDIA H100/H200/B200）及 Google TPU v5p 等，而專門為 MoE 設計的硬體模組尚處早期，公開資料未見大規模商用。

下游

• 推論架構與服務：TensorRT‑LLM、vLLM、SGLang、llama.cpp 等均針對 MoE 實現專家分散式管理和動態排程，通過專家放置最佳化、batch 級容量保障等方法降低 token 丟棄率。例如 vLLM 的 MoE 支援採用專家並行（expert parallelism）策略，將不同專家分佈到多張 GPU，結合張量並行實現高吞吐。
• 推論硬體與服務成本：雖然 MoE 啟用計算量小，但視訊記憶體佔用約等於總引數量，使得單卡承載能力受限，往往需要多卡例項。四大雲端廠商（AWS、Azure、Google Cloud、阿里雲端）紛紛推出基於 H100/H200 的大視訊記憶體例項，但具體由 MoE 推論拉動的營收增量各廠商均未單獨揭露。第三方估計顯示，2024 年全球 AI 推論即服務市場約 120 億～150 億美元，MoE 在其中所佔份額 公開資料未見。
• 應用產品：MoE 已成為高複雜度的對話助手、程式碼生成、多語言翻譯等場景的主流引擎。Mistral Large、DeepSeek-V3、Qwen2.5-MoE 等已通過 API 對外提供服務，但服務商並未按模型架構拆分營收。

受益公司

以下梳理直接因專家網路產業鏈而獲得增量需求的企業，僅客觀羅列事實，不作為任何投資建議。

• NVIDIA：其 H100/H200/B200 GPU 及配套 NVLink、InfiniBand 是 MoE 訓練推論的核心硬體。2025 財年（截至 2025 年 1 月）資料中心營收達 475 億美元，其中大型模型相關佔比高，但未單獨拆出 MoE 貢獻。
• AMD：MI300X 等大視訊記憶體 GPU 定位 MoE 推論，其 192 GB HBM3 容量承載總引數較大的 MoE 模型有一定優勢。2024 年資料中心 GPU 營收約 50 億美元（口徑：公司財報），MoE 相關比例未揭露。
• 博通 / Marvell：定製 ASIC 與高速交換晶片受益於 All‑to‑All 通訊需求，博通 2024 財年 AI 相關營收突破 100 億美元（來源：公司財報）。
• HBM 供應商（SK 海力士、三星、美光）：HBM3E 產能持續擴張。據 TrendForce 2025 年初資料，SK 海力士仍為最大供應商，主要供應 NVIDIA，HBM 佔總營收比重不斷上升。
• 雲端基礎設施廠商（AWS、Azure、Google Cloud、阿里雲端等）：因部署 MoE 模型而提升大記憶體例項的滲透率，具體增量貢獻各公司均未單獨列示。2024 年全球雲端 AI 基礎設施服務支出強勁增長，但未細化到 MoE 維度。
• Mistral AI / DeepSeek / 阿里等模型提供商：開源或閉源 MoE 模型提升了技術聲望和 API 流量，商業化進展不一，數字多未公開。

市場規模

需明確：專家網路本身並非一個獨立商品市場，而是影響 AI 硬體、網路和雲端服務的技術架構選擇，因此沒有直接命名為“專家網路市場”的統計口徑。以下列出與 MoE 緊密關聯的周邊市場體量，均註明來源與年份。

• HBM 市場：2024 年全球 HBM 營收約 169 億美元，年增率增長超 280%（口徑：營收；來源：Gartner，2024 年 5 月報告）。MoE 大型模型放量被列為關鍵驅動因子。
• 高速互聯市場：AI 用 InfiniBand 和高效能乙太網路交換器市場 2024 年約 25 億美元，預計 2028 年超 80 億美元（口徑：廠商營收；來源：650 Group 2024 年 9 月報告），All‑to‑All 通訊密集化推動了對 400G/800G 埠的需求。
• AI 訓練與推論晶片市場：據 Omdia 2024 年 8 月估計，2024 年全球 AI 晶片市場（含 GPU、FPGA、ASIC）約 780 億美元，其中模型架構如 MoE 影響晶片記憶體與互聯規格，但規模無法單列。
• MoE 直接貢獻佔比：由於各廠商均不單獨揭露，公開資料未見精確數字。

玩家對比

玩家	代表性 MoE 模型/系統	總引數量與啟用量	專家數/啟用數	開源與否	特點與時間
Google DeepMind	Switch Transformer, GLaM, ST‑MoE	最高達 1.6T（Switch），啟用量可小於 10%	N 可達 2048，k=1	部分技術公開，模型未開源	2021–2022 年系列工作，深耕 TPU 叢集，負載均衡與穩定性最佳化奠基
Meta	NLLB MoE	54.5B 總引數	N=128，k=2	開源	2022 年用於多語言翻譯，展示 MoE 在多工上的泛化力
Mistral AI	Mixtral 8×7B / 8×22B	47B / 141B 總引數，啟用分別約 13B / 39B	N=8，k=2	開源	2023 年底至 2024 年初發布，以極簡架構樹立稀疏價效比標杆
DeepSeek	DeepSeek-V2 / V3	V3：671B 總引數，啟用約 37B	V3 細粒度專家結構（1 共享 + 256 路由專家），k=8+1	開源	2024–2025 年，訓練成本極低，採用 shared 專家和 fine‑grained 專家分割
阿里雲端	Qwen2.5-MoE	約 57B 總引數，啟用約 14B	N=64，k=8	開源	2024 年 9 月釋出，在推論、數學等任務表現突出
OpenAI	未官方確認，業界推測 GPT‑4 系 MoE 架構	傳聞總引數約 1.8T，啟用約 280B（來源：Semianalysis 估計，非官方）	未知	閉源	2023 年釋出，若確為 MoE，則首次將稀疏架構大規模用於消費級產品，但一切外部引數均為推測

注：上述引數除註明推測外，均源自各機構的技術報告或官方部落格，截至 2025 年 4 月。

風險

• 負載不均與訓練穩定性：路由器可能 collapse 到少數專家，導致訓練崩潰或資源浪費。即使用負載均衡損失和容量因子，仍可能發生在持續訓練中專家退化（死專家）的現象，需要工程界持續投入。
• 硬體適配成本高：MoE 推論雖節省計算，但極大消耗視訊記憶體頻寬和容量，單卡承載困難，多卡部署帶來通訊和排程 overhead，部分中小規模場景下綜合成本可能反超稠密模型。
• 推論批處理效能波動：容量因子導致突發流量時 token 丟棄率上升，服務延遲和吞吐不可預測，影響 SLA 保障。
• 技術透明度不足：多數商業閉源模型的 MoE 配置、負載均衡策略等均為黑盒，業界難以準確評估其對基礎設施的真實消耗，可能導致產能規劃偏差。
• 智慧財產權與合規風險：稀疏架構的某些實現細節可能涉及軟體專利；此外，黑盒模型的專家分工可能隱含偏見或安全後門，審查難度增加。

誤讀糾偏

• 誤讀 1：“MoE 的啟用引數就是總引數除以專家數。” 事實：只有 MoE 層本身（往往僅替換部分 FFN）的引數才按專家分片。注意力層、嵌入層等所有 token 共享，不參與稀疏路由。實際啟用引數 = 共享引數總量 + k 個專家的引數量，且可能因容量因子丟棄產生額外繞行，理論啟用計算量並非簡單除法。

• 誤讀 2：“MoE 模型一定比稠密模型效能好。” 事實：MoE 在同等訓練計算預算下擴充總知識容量時通常有效，但在小規模、低延遲或需嚴格確定性的場景中，稠密網路更易部署和調優。負載均衡損失、容量丟棄等也可能損害質量，須視任務和約束而定。

• 誤讀 3：“任何團隊都能輕易復刻高效能 MoE 模型。” 事實：除了資料、算力門檻，MoE 對分散式訓練架構、通訊庫和硬體拓撲的調優要求極高。簡單的開源復現往往無法達到原始論文中的效率優勢，需要深厚的系統工程積累。

• 誤讀 4：“推論只啟用極少數專家，所以推論總成本很低。” 事實：推論雖減少計算 FLOPs，但視訊記憶體佔用極大，多卡部署增加了裝置折舊和通訊能耗。對服務商而言，總擁有成本（TCO）需結合記憶體、網路、排程多維度評估，並不總優於小稠密模型。

最新事件

• 2024 年 5 月：DeepSeek 釋出 V2 模型，採用自研 DeepSeekMoE 架構，首次在極低訓練成本（約 600 萬美元）下展現出匹敵頂尖稠密模型的效能，震驚業界（來源：DeepSeek 技術報告）。
• 2024 年 4 月：Mistral AI 推出 Mixtral 8×22B，引數總量 141B，啟用約 39B，通過 API 服務，進一步驗證 MoE 放大至 100B+ 級別的可行性（來源：Mistral 官方部落格）。
• 2024 年 9 月：阿里雲端開源 Qwen2.5-MoE，具備 64 個專家、Top‑8 路由，總引數約 57B，在多項基準測試中表現強勁（來源：Qwen 團隊技術部落格）。
• 2024 年 12 月：DeepSeek-V3 釋出，總引數 671B，啟用 37B，訓練成本僅 557 萬美元，再次重新整理稀疏模型的計算效率紀錄（來源：DeepSeek 公開技術報告，2025 年 1 月更新）。
• 2025 年 3 月：多家雲端廠商宣佈推出基於 NVIDIA H200/B200 的 MoE 推論最佳化例項，支援數百 GB 視訊記憶體的專家駐留，但具體例項成本和效能數字未公開。
• 2025 年 Q1：業界傳聞 Meta 的 Llama 4 將包含 MoE 變體，但 Meta 尚未就此發表官方技術細節，一切資訊為推測。

追蹤指標

• 公開模型的專家負載分佈：查閱 Mixtral、Qwen2.5-MoE、DeepSeek-V3 等技術報告中揭露的負載均衡損失和專家流量佔比，監測死專家比例。
• 雲端服務硬體規格：AWS EC2 P5e、Azure ND H200 v5 等例項的視訊記憶體總量與互聯頻寬，間接反映 MoE 推論需求強度。
• HBM 出貨與價格：TrendForce、Omdia 季度報告中的 HBM 產值增長和價格走勢，反映上游緊張程度。
• 推論架構更新：vLLM、SGLang 等 GitHub 倉庫中關於 MoE 支援的效能最佳化及 issue 討論熱度，可反映社群落地痛點。
• 學術論文錄用：NeurIPS、ICML、MLSys 等頂會中關於 MoE 穩定性、通訊最佳化和稀疏訓練的新方案數量，判斷領域活躍度。
• 廠商資本支出展望：NVIDIA、AMD、雲端廠商季度財報中對資料中心互連、記憶體相關投資的評述，雖不單列 MoE，但可作為產業晴雨表。

信源

• 權威論文：Shazeer et al. (2017) “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer”; Fedus et al. (2022) “Switch Transformers”; Zoph et al. (2022) “ST-MoE”; Lepikhin et al. (2020) “GShard”.
• 技術報告與部落格：DeepSeek-V2/V3 技術報告（2024–2025）；Mistral AI “Mixtral of Experts” 部落格 (2023/2024)；阿里巴巴 Qwen2.5-MoE 部落格 (2024)；Google Research Blog on GLaM (2021).
• 產業資料：Gartner “HBM Market Share and Forecast” (2024.5)；TrendForce “DRAM & HBM Quarterly Reports” (2024–2025)；650 Group “AI Networking Market Report” (2024.9)；Omdia “AI Processor Market Tracker” (2024.8).
• 工程分析：Semianalysis 對 GPT-4 架構及成本的分析（訂閱制，非官方）；DeepSpeed-MoE、Megablocks、vLLM GitHub 倉庫及文件.
• 提醒：所有涉及具體商業數字的第三方估計均可能存在統計口徑差異，引用時請務必交叉驗證最新季度資料。閉源廠商的 MoE 細節均以官方釋出為準，市場推測僅供參考。