Effective Token Cost

3秒看懂

Effective Token Cost（有效Token成本）是評估大語言模型（LLM）服務經濟性的核心指標。它衡量單個Token在推論過程中實際消耗的計算資源，只計入被該Token啟用的引數所觸發的運算，而非模型總引數量。

對於傳統稠密模型（如GPT-3 175B），所有引數對每個Token均參與計算，有效Token成本等價於總引數成本。但在MoE（Mixture-of-Experts，混合專家）等稀疏模型中，路由機制使每個Token僅在2-8個專家子網路上執行，啟用引數量常不到總引數的十分之一，有效Token成本因此大幅低於總引數暗示的成本水平。

它回答的產業核心問題是：在GPU/TPU上，每服務一個Token真正燒掉多少錢——這對API定價和商業閉環至關重要。

3分鐘產業解釋

產業界從2023年開始出現關鍵拐點：從關注模型引數規模轉向關注推論經濟性。有效Token成本正是這一轉變的核心度量。

• API定價的底牌：以DeepSeek-V2（總引數236B，啟用引數約21B）為例，其推論有效Token成本對標的是20B級稠密模型，API定價因此可以做到GPT-4 Turbo的約1/50（來源：DeepSeek 2024年5月技術報告）。Google Gemini 1.5 Pro、Mistral Large等商用MoE模型的定價邏輯同樣根植於有效Token成本。

• 訓練經濟性重構：MoE架構在訓練階段，每個Token的前向與反向傳播計算量仍按啟用引數計算，但模型容量（總引數量）的大幅擴張帶來的效能提升，使單位有效成本對應的模型能力顯著優於稠密模型。Google GLaM（1.2T總引數，64專家，每Token啟用約97B）在2022年的技術報告中展示：其訓練成本僅為同等效能稠密模型的約1/3。

• 硬體供需的結構性錯配：GPU的HBM（高頻寬記憶體）容量必須載入全部專家引數（總引數規模），但計算單元的利用率僅由啟用引數決定。例如，部署一個8×7B（總56B，啟用約12B）的MoE模型，HBM佔用需要容納全部56B引數，但實際計算負荷僅對應12B稠密模型。這種“視訊記憶體吃滿、算力閒置”的錯配，直接驅動HBM容量、片間互聯頻寬和稀疏計算架構的硬體投資邏輯。

有效Token成本已從學術概念變為模型經濟性的核心方程，直接決定創業公司能否以合理成本跑通API業務，也倒逼上游晶片架構向稀疏計算演進。

技術原理

深入理解有效Token成本需從引數構成、路由機制、物理對映三個層次拆解。

稠密模型的成本構成

GPT-3、LLaMA等稠密模型中，所有Transformer層引數（包括注意力層的Q/K/V/O矩陣、FFN層的兩個全連線矩陣）對每個Token均全程參與前向計算。每Token前向FLOPs嚴格等於2×總引數量（一次乘加算兩次操作），最佳化手段限於量化（FP16→INT8）、剪枝、KV Cache複用等，邊際成本最佳化空間有限。

MoE的啟用引數計算

MoE將標準Transformer中引數量最大的FFN層替換為E個並行的專家子網路，每個專家是一個獨立的前饋網路。門控網路（Router）為每個Token輸出Top-k個專家的索引及權重（k通常為1-8）。

總引數量 = 共享引數（Attention + Embedding） + E × 單專家引數量
啟用引數量 = 共享引數 + k × 單專家引數量
有效引數比 = 啟用引數量 / 總引數量

以Mixtral 8×7B為例（來源：Mistral AI 2023年12月技術部落格）：總標註引數量46.7B（8個專家，每個約5.8B），共享注意力引數約1.3B，每Token啟用k=2個專家，啟用引數量約12.9B，有效引數比約27.6%。

真實物理成本的四層模型

每Token總成本 = 計算成本（∝ 啟用引數量）
               + 通訊成本（All-to-All分發/收集專家結果）
               + 記憶體訪問成本（HBM頻寬、KV Cache讀寫）
               + 負載不均衡懲罰（Token溢位導致的重計算或丟棄）

計算成本是理論下界。在理想負載均衡和通訊完全隱藏的條件下，推論成本由啟用引數量決定。

通訊成本是MoE區別於稠密模型的核心增量。專家分佈在多個裝置上時，每個MoE層前後均需執行All-to-All集合通訊：將Token按路由決策分發到對應專家所在的裝置，計算完成後再彙總回原裝置。當裝置數多、網路拓撲次優時，通訊耗時可能佔單步總時間的30%-50%（來源：NVIDIA Megatron-LM團隊2023年技術部落格中的定性討論，精確數值因叢集配置而異）。

記憶體訪問成本取決於HBM頻寬利用率和KV Cache管理策略。總引數常駐HBM導致大量容量被閒置引數佔據，但實際推論時只有啟用引數對應的權重被頻繁讀取。推論吞吐的瓶頸常落在視訊記憶體頻寬而非算力。

負載不均衡懲罰是工程實現中的最大變數。若某專家被分配的Token數超過其容量上限，超額Token會被丟棄或路由到次優專家，導致模型質量下降或需要重計算。容量因子（Capacity Factor）定義每個專家能處理的Token數相對於平均分配的倍數——該值越低，Token丟棄風險越高，但總計算量越小。

DeepSeek-V2技術報告（2024年5月）揭露，通過細粒度專家劃分（將單個大專家拆為多個小專家）和共享專家隔離策略，其負載均衡損失控制在極低水平，Token丟棄率接近零。這是其實現極低有效Token成本的關鍵工程突破。

關鍵引數

評估和追蹤有效Token成本需關注以下可量化指標（實際數值需從模型技術報告或推論架構日誌獲取）：

指標	定義	對有效成本的影響
啟用引數量	每Token啟用的引數總數	決定計算成本的下界
有效引數比	啟用引數/總引數	越低，MoE稀疏收益越大
每Token FLOPs	前向傳播浮點運算次數	與算力單價相乘得理論最低成本
容量因子	專家最大Token容量/平均分配Token數	過低→Token丟棄率高；過高→計算浪費
All-to-All通訊耗時佔比	通訊時間/單步總時間	反映通訊瓶頸嚴重程度，>30%需最佳化
專家負載方差	路由到各專家的Token數標準差	方差大→負載不均→有效成本被懲罰
推論MFU	實際吞吐/理論峰值吞吐	衡量硬體利用率，MoE模型常低於稠密
單Token功耗	GPU/TPU每Token耗電量(J)	直接對映到電力成本與碳排放

資料獲取渠道：

• 開源模型（DeepSeek、Mixtral）的技術報告通常揭露啟用引數、專家數、容量因子。
• 閉源模型（OpenAI、Anthropic）的對應資料需通過第三方逆向工程估算（如SemiAnalysis的報告），或從API定價倒推成本區間。
• 推論MFU和通訊佔比通常僅在學術論文或廠商深度最佳化報告中出現。

技術路線

主流技術路線對比

路線一：稠密縮放+高效推論最佳化 代表：LLaMA 3 70B/405B、Qwen 2.5 72B。持續擴大稠密引數規模，通過FlashAttention（視訊記憶體最佳化）、量化（FP8/INT4）、推測解碼（Speculative Decoding）降低推論成本。有效Token成本仍隨引數線性增長，但通過工程手段壓縮常數項。優勢在於架構簡單、無通訊複雜度，適合單卡或少量顯示卡部署。

路線二：標準MoE（粗粒度專家） 代表：Mixtral 8×7B、DBRX 132B。使用8-16個引數量較大的專家，每Token啟用Top-1或Top-2。有效引數比約20%-30%。優勢在於訓練架構成熟（DeepSpeed-MoE、Megatron-LM均已支援），但專家粒度過粗導致負載均衡困難，All-to-All通訊開銷顯著。

路線三：細粒度MoE+共享專家 代表：DeepSeek-V2/V3（2024年5月/12月）。將專家拆分為更小粒度（DeepSeek-V2有160個專家，每Token啟用6個），並引入共享專家（所有Token均經過的固定專家）。有效引數比可低至約9%（DeepSeek-V2：總236B，啟用21B）。細粒度使負載更均勻，共享專家減少路由壓力，通訊排程最佳化空間更大。

路線四：異構硬體稀疏推論 代表：Groq LPU（語言處理單元）、Cerebras CS-3（晶圓級引擎）。從晶片架構層面最佳化稀疏計算：Groq LPU通過確定性排程和近存計算消除通訊延遲，Cerebras通過單顆晶圓繫結全部引數消除跨晶片通訊。有效Token成本在硬體層面被重新定義，目前處於早期商用階段（Groq於2024年提供API服務，Cerebras 2024年釋出推論平台）。

路線五：混合推論架構 代表：推測解碼+MoE（如Google Gemini，具體架構未公開）。使用小模型（Draft Model）快速生成候選Token，再由大MoE模型並行驗證，在保證精度的前提下大幅降低有效Token成本（約降低40%-60%，來源：Google Research 2023年推測解碼論文中的通用結論）。

技術路線趨勢研判

2024-2025年的關鍵演進方向：

• 細粒度化：專家數量從個位數增至數百，有效引數比向5%-10%逼近。
• 共享專家常態化：DeepSeek的共享專家設計被行業廣泛關注，預計將成為下一代MoE的標準組件。
• 推論專用編譯最佳化：針對MoE的定製化CUDA Kernel（如FasterTransformer、vLLM的MoE最佳化版）將通訊成本進一步壓縮。
• 硬體適配分化：NVIDIA路線（B200、GB200）通過更大HBM（192GB/288GB）勉強容納全量專家，但算力利用率難提升；Groq/Cerebras路線試圖從架構底層徹底消除閒置引數開銷。

上游

有效Token成本的競爭根植於上游技術棧，主要涉及以下層面：

模型架構與訓練架構

• Megatron-LM（NVIDIA）：提供專家並行（Expert Parallelism）策略，支援在專家維度切分模型，是MoE訓練的基礎設施。
• DeepSpeed（Microsoft）：DeepSpeed-MoE模組（2022年釋出）提供簡潔的MoE配置與負載均衡損失實現，開源社群最常用架構。
• JAX+XLA（Google）：TPU生態的MoE訓練基礎，GShard和Switch Transformer均基於此建置。
• PyTorch DTensor（Meta）：PyTorch 2.0引入的分散式張量抽象，簡化MoE並行策略的實現。

硬體層

• GPU：NVIDIA H100（HBM3 80GB）、H200（HBM3e 141GB）、B200（HBM3e 192GB-288GB，2024年釋出）。HBM容量決定能容納的總引數規模，記憶體頻寬決定推論吞吐上限。
• TPU：Google TPU v5p（2023年釋出），片間互聯頻寬（ICI，Inter-Chip Interconnect）專為MoE的All-to-All通訊最佳化。
• 專用互聯：NVLink（GPU間）、InfiniBand/乙太網路（節點間）。All-to-All通訊的頻寬和延遲直接由互聯決定。NVIDIA Spectrum-X乙太網路平台（2024年）專門針對AI叢集的All-to-All進行了擁塞控制最佳化。

底層通訊庫

• NCCL（NVIDIA集體通訊庫）：GPU叢集的標準集合通訊庫，All-to-All效能直接影響MoE有效成本中的通訊佔比。
• 定製化通訊庫：Google的TPU執行時、DeepSpeed的通訊後端，均對MoE的All-to-All模式做了融合與流水線最佳化。

上游競爭格局觀察 GPU+互聯領域存在NVIDIA一家獨大的局面，但2024年出現變數：AMD MI300X（192GB HBM3）開始被部分雲端廠商用於MoE推論；雲端端推論晶片創業公司（Groq、Cerebras、d-Matrix）嘗試繞過傳統GPU+通訊範式。訓練架構層面，DeepSpeed和Megatron-LM佔據主導，JAX在Google/DeepMind體系內仍有優勢。

下游

有效Token成本直接塑造下游應用的經濟模型：

MaaS/API服務層 這是有效Token成本最直接的定價錨點。2024年關鍵廠商的API定價（截至2024年12月公開資訊）：

• DeepSeek-V3：輸入$0.27/M token，輸出$1.10/M token（2024年12月釋出，來源：DeepSeek官網）
• GPT-4o：輸入$2.50/M token，輸出$10.00/M token（來源：OpenAI官網）
• Claude 3.5 Sonnet：輸入$3.00/M token，輸出$15.00/M token（來源：Anthropic官網）
• Gemini 1.5 Pro（128K上下文）：輸入$1.25/M token，輸出$5.00/M token（來源：Google Cloud）

價格差距的根源在於有效Token成本的不同。DeepSeek-V3通過極致MoE稀疏設計（總671B，啟用37B，來源：2024年12月技術報告）實現了啟用引數/總引數比約5.5%的行業最低水平，對映到API定價的低位。

應用開發商與終端場景

• 企業知識庫/RAG應用：高Token消耗場景（每次查詢可能消耗數千Token），對有效Token成本敏感，傾向選擇高性價比MoE模型。
• AI程式設計助手（GitHub Copilot、Cursor等）：高頻呼叫場景，有效Token成本的微小差異轉化為顯著的月度總成本差異。Cursor於2024年已整合DeepSeek模型作為低成本選項。
• AI遊戲/角色扮演：長上下文、多輪對話場景，對推論延遲和成本均敏感。
• 邊緣/端側推論：小型MoE模型（如手機端部署1-2個專家）的有效Token成本可能優於同參數稠密模型，Apple Intelligence（2024年釋出）的端側模型架構方向值得關注。

碳排放與ESG核算 有效Token成本與每Token耗電量直接相關。MoE雖降低計算成本，但HBM常駐全部引數帶來的靜態功耗，使實際能源效率低於理論FLOPs比。企業ESG報告的AI碳足跡章節開始關注有效Token效率指標，公開資料尚無統一的行業揭露標準。

受益公司

按受益邏輯分類（列舉基於公開資訊的代表性公司，不構成投資建議）：

MoE推論成本領先者

• DeepSeek（幻方量化旗下，未上市）：2024年通過DeepSeek-V2/V3的技術報告確立了有效Token成本的行業標杆，低API定價策略正在衝擊市場格局。盈利模式依賴極低推論成本+規模化API呼叫量。
• Mistral AI（未上市，2024年6月完成6.4億美元融資，估值60億美元，來源：Bloomberg）：Mixtral系列驗證了開源MoE商業化的可行性，通過API服務（La Plateforme）和開源權重雙軌推進。

雲端平台硬體供應商

• NVIDIA（NASDAQ: NVDA）：Hopper和Blackwell架構GPU是MoE推論的標準硬體，H200/B200的大HBM容量雖利用率有限，但仍是市場唯一選擇。2025財年Q3（截至2024年10月）資料中心營收$30.8B，年增率增長112%。GB200 NVL72（72 GPU互聯）專為大引數MoE最佳化。
• AMD（NASDAQ: AMD）：MI300X（192GB HBM3）在2024年下半年進入部分雲端廠商的MoE推論負載，2024Q3資料中心營收$3.5B（年增率增長122%，來源：AMD財報）。若MoE推論的軟體生態（ROCm）成熟，有望分流NVIDIA份額。

稀疏推論專用晶片

• Groq（未上市，2024年8月完成6.4億美元D輪融資，估值28億美元，來源：TechCrunch）：LPU架構通過確定性排程和近存計算消除All-to-All通訊開銷，宣稱MoE推論延遲和成本顯著優於GPU。2024年已向開發者提供API訪問。
• Cerebras（未上市，2024年計劃IPO，傳聞估值40-60億美元，來源：路透社2024年7月報道）：晶圓級引擎（WSE-3）單晶片容納完整MoE模型，從物理層面消除跨晶片通訊，2024年12月推出Cerebras Inference服務平台。
• d-Matrix（未上市，2024年9月完成1.1億美元B+輪融資，來源：公司官方）：專注推論的數字存算一體架構，針對MoE的專家稀疏訪存最佳化。

開源架構+推論引擎生態

• Meta（NASDAQ: META）：PyTorch生態是MoE開源模型開發和部署的基礎設施，Llama 4傳聞將引入MoE架構（公開資料未見官方確認）。
• Microsoft（NASDAQ: MSFT）：DeepSpeed-MoE是社群標準訓練架構，Azure雲端提供MoE推論服務。

注：以上分析基於公開的商業動態和技術報告，不構成任何買賣建議。

市場規模

精確的“有效Token成本”市場規模尚無第三方獨立統計，需從相關市場的規模和增速進行間接推斷。

AI推論市場

• 全球AI推論即服務市場（Inference-as-a-Service）2024年預估規模約$150億-$200億（來源：Grand View Research 2024年行業報告，涵蓋所有AI模型型別）。其中LLM推論是增速最快的細分領域。
• LLM API市場規模2024年預估約$30億-50億（來源：多份券商研究報告交叉印證區間，如Morgan Stanley 2024年9月雲端AI研究報告），預計2027年達$200億-300億，CAGR約60%-80%。有效Token成本的最佳化直接影響API廠商的毛利率和市場規模擴張速度。

MoE模型滲透率

• 2024年公開確認使用MoE的商用LLM：GPT-4/4o（傳聞，公開資料未獲官方確認）、Gemini 1.5 Pro、Mistral Large、DeepSeek-V2/V3、Qwen 2.5 MoE（部分版本）。按呼叫量估算，MoE系API可能佔LLM API市場總量的40%以上。
• 若MoE滲透率持續提升（2026年達60%-70%），有效Token成本最佳化帶來的行業獲利釋放規模將以數十億美元計。

硬體成本端的對映

• 全球AI晶片市場2024年約$500億-$600億（來源：Omdia 2024年半導體預測），其中推論晶片佔比約40%，即$200億-$240億。
• MoE推論對HBM容量和互聯頻寬的特殊需求，正在影響晶片設計的資源分配。HBM市場2024年約$130億（來源：TrendForce 2024年H2預測），AI是主要增長驅動。

成本下降曲線 行業定性趨勢：MoE推論的有效Token成本在2023-2024年約每年下降50%-70%（驅動因素包括：細粒度專家設計、共享專家、編譯最佳化、硬體換代）。若該趨勢延續，API定價的持續下降將加速LLM應用的滲透，但具體年度下降率因廠商和技術路線而異，精確資料需追蹤各廠商API調價公告。

玩家對比

以有效Token成本為核心維度，對代表性模型和廠商進行定性對比（資料截至2024年12月公開資訊）：

維度	DeepSeek-V3	GPT-4o	Claude 3.5 Sonnet	Gemini 1.5 Pro	Mixtral 8×22B
總引數量	671B	未公開（行業估算約1.8T）	未公開	未公開（傳聞MoE）	141B
啟用引數量	37B（官方）	未公開	未公開	未公開	約39B
有效引數比	約5.5%	不可知	不可知	不可知	約28%
輸入定價（$/M token）	0.27	2.50	3.00	1.25	0.65（開源，三方API）
輸出定價（$/M token）	1.10	10.00	15.00	5.00	0.65（開源，三方API）
定價/啟用引數比（定性）	極低	高	高	中	中低
架構特點	細粒度+共享專家	傳聞MoE	未知	MoE（Google官方確認）	標準粗粒度MoE
開源	是（權重）	否	否	否	是（權重）

核心觀察：

• 透明度差異巨大：DeepSeek和Mistral等開源廠商公開了詳細架構引數，有效Token成本可精確計算；閉源廠商（OpenAI、Anthropic）的對應資料依賴外部估算，增加了產業分析的模糊性。
• 定價並非完全由有效Token成本決定：品牌溢價、服務等級（SLA、可用性區域）、安全合規投入、多模態能力等因素均影響最終定價。GPT-4o定價高於DeepSeek-V3，不僅是因推測的有效Token成本更高，也包含生態系統、企業服務等溢價。
• 開源正追上閉源的價格底線：Mixtral 8×22B的開源權重可由第三方雲端廠商以極低獲利率託管，實際服務價格可能低於API官方定價，這對於價格敏感的場景構成競爭壓力。
• 有效Token成本的競爭終局：當有效Token成本趨近於硬體成本+能耗下限，競爭將從技術層轉向資料、生態、分發渠道等維度。2024年尚處於成本最佳化曲線的陡峭段，技術差異化空間仍大。

風險

有效Token成本的分析和應用面臨多重風險：

技術風險

• 負載均衡不確定性：MoE模型的負載均衡依賴輔助損失和容量因子的精細調節。若推論時的真實Token分佈與訓練時偏差顯著（如長尾領域的特殊輸入），某些專家可能過載導致Token丟棄率飆升，實際有效成本遠超理論值。
• 通訊瓶頸不可消除：All-to-All通訊是MoE推論的固有成本，深度最佳化（如融合通訊與計算、專家分組排程）可將通訊佔比壓低至20%以下，但無法完全消除。在大規模部署（百卡以上）時，網路拓撲和擁塞可能導致通訊成本非線性增長。
• 微調後的有效性退化：MoE模型在領域微調時，路由分佈可能劇烈變化，導致微調後負載嚴重不均。這是2024年產業界尚未充分解決的工程難題（來源：多篇學術論文討論，正式解決方案尚未見標準化）。

商業風險

• 定價戰不可持續：DeepSeek等廠商的超低API定價策略，可能以低於短期有效成本的價格搶佔市場，依賴資本補貼。若價格戰持續，行業盈利能力將被壓制，中小型API提供商可能被擠出。
• 閉源廠商的架構不透明：OpenAI和Anthropic不揭露MoE架構引數，使得第三方無法準確估算其有效Token成本。若其實際有效成本與定價存在巨大價差，投資者對定價合理性的判斷缺乏資料支撐。
• 硬體供應鏈依賴：MoE推論對大容量HBM的需求使供應鏈高度依賴NVIDIA和少數HBM供應商（SK Hynix、三星、美光）。2024年HBM產能緊缺，若擴張不及預期，MoE推論的硬體總成本（購置成本+能耗）可能居高不下，壓縮有效Token成本最佳化的空間。

分析誤判風險

• 混淆理論成本與牆鍾成本：論文中常用的FLOPs/Token僅反映計算理論值，實際推論延遲、吞吐和功耗受通訊、排程、記憶體訪問等多變數影響。用FLOPs比率直接推算成本降幅可能嚴重低估實際複雜度。
• 忽略精度-成本權衡：細粒度MoE和低容量因子可能以微小的模型質量損失換取成本大幅下降。有效Token成本的橫向對比需控制精度變數，否則低精度的低成本模型可能被誤判為更優。

監管風險

• 能效與碳排放揭露：歐盟AI法案（2024年生效）要求高風險AI系統的能耗和碳排放資訊透明。若監管機構要求揭露有效Token成本相關的能耗指標，可能暴露部分廠商宣稱效率與實際能耗之間的差距。

誤讀糾偏

誤讀1：“MoE總引數大，推論成本一定高” 這是產業討論中最常見的錯誤。推論的計算成本正比於啟用引數量，而非總引數量。一個總671B但每Token啟用37B的MoE模型，其單Token計算量約為37B稠密模型的水平，而非671B。額外成本來自All-to-All通訊和全量專家駐留HBM帶來的記憶體開銷，但這與計算成本的10-20倍差距不在一個量級。正確理解：“引數大”≠“成本高”，關鍵看有效引數比。

誤讀2：“有效Token成本等於FLOPs/Token” FLOPs僅衡量計算單元的運算次數，不包含通訊延遲、HBM頻寬壓力、專家負載不均衡導致的重計算。在MoE推論的實際物理部署中，牆鍾延遲和等價算力成本常比純FLOPs預期高出30%-60%。正確理解：有效Token成本是系統級概念，必須計入通訊和記憶體訪問開銷。

誤讀3：“MoE自動意味著低成本” MoE降低有效Token成本的前提是負載均衡良好、通訊最佳化充分。如果專家容量因子設定過低導致頻繁Token丟棄，或All-to-All未流水線化導致GPU空轉，實際有效Token成本可能劣化至稠密模型同等水平甚至更差。正確理解：MoE是效率工具但非魔法，工程實現水平決定實際收益。

誤讀4：“有效Token成本最低的模型=價效比最高的模型” 有效Token成本僅衡量推論側的算力消耗，不反映模型質量。一個啟用引數極少但精度顯著劣化的模型，其“每元Token智慧度”可能低於啟用引數稍多但精度大幅提升的模型。正確理解：分析架構應是“單位有效成本下的模型能力”，而非單純最小化有效成本。

誤讀5：“API定價直接反映有效Token成本加固定獲利率” API廠商的定價策略受多因素影響：資本補貼搶佔市場、捆綁服務溢價、安全合規成本、多模態額外開銷等。部分廠商可能以低於有效成本的價格銷售，部分則收取顯著的品牌溢價。正確理解：API定價是有效Token成本的下限參考，而非精確對映。

最新事件

（本節追蹤截至2024年12月的最新公開動態，按時間倒序排列）

2024年12月 — DeepSeek-V3釋出 DeepSeek釋出V3模型，總引數671B，啟用37B，有效引數比5.5%。MoE架構包含256個專家，每Token啟用8個，採用輔助負載均衡損失和新的訓練策略（來源：DeepSeek-V3技術報告，2024年12月）。API輸入定價$0.27/M token，創下同級別模型價格新低。

2024年12月 — Cerebras推出Cerebras Inference Cerebras正式推出基於WSE-3晶圓級引擎的推論服務，宣稱在Llama 3.1 70B稠密推論上達到450 tokens/s的吞吐，並計劃支援MoE模型推論（來源：Cerebras官方公告，2024年12月）。其晶圓級架構從物理層面消除MoE的跨晶片通訊開銷。

2024年10月 — AMD MI300X進入主流雲端推論負載 AMD在2024Q3財報電話會（2024年10月29日）揭露MI300X（192GB HBM3）已被多家雲端廠商用於AI推論，包括MoE模型的推論負載。ROCm生態對MoE的支援進展是後續關注重點。

2024年9月 — Groq完成D輪融資並擴大API服務 Groq完成6.4億美元D輪融資，估值28億美元，由BlackRock領投（來源：TechCrunch，2024年8月5日報道）。Groq API提供Mixtral、Llama等多個開源模型的推論服務，宣稱在MoE推論延遲和成本上顯著優於GPU。

2024年8月 — OpenAI GPT-4o更新引發MoE架構討論 OpenAI釋出GPT-4o的更新版本，第三方分析（SemiAnalysis 2024年8月報告）推測其為MoE架構（啟用引數約為總引數的1/10-1/12），但OpenAI未做官方確認。GPT-4o API定價較GPT-4 Turbo降低50%，間接支援了MoE有效Token成本最佳化的推測。

2024年7月 — NVIDIA釋出GB200 NVL72 NVIDIA在SIGGRAPH 2024上詳細介紹了GB200 NVL72（72 GPU互聯機櫃），宣稱專為大引數MoE推論最佳化，NVLink 5.0頻寬達1.8TB/s，可有效減少All-to-All通訊延遲（來源：NVIDIA 2024年7月SIGGRAPH演示）。

2024年6月 — Mistral完成640M美元融資 Mistral AI完成6.4億美元B輪融資（包括4.68億歐元股權+1.32億歐元債務），估值達60億美元（來源：Bloomberg，2024年6月11日報道）。其商業模式核心即MoE架構帶來的推論成本優勢。

2024年5月 — DeepSeek-V2技術報告發布 DeepSeek-V2報告詳細揭露了細粒度MoE+共享專家的設計，有效引數比約9%（總236B，啟用21B），API定價$0.14/M token（輸入），引發國內API價格戰（來源：DeepSeek-V2技術報告，2024年5月）。

2024年3月 — X.AI釋出Grok-1，確認MoE架構 Elon Musk旗下X.AI的Grok-1模型開源，確認採用MoE架構（總314B，啟用約86B，8個專家，每Token啟用2個），有效引數比約27%（來源：X.AI GitHub倉庫及模型卡，2024年3月）。

追蹤指標

系統性追蹤有效Token成本的行業演進，建議關注以下維度的資料來源和更新頻率：

一、模型技術報告揭露指標（每次新模型釋出時更新）

• 總引數/啟用引數/有效引數比
• 專家數量、Top-k、容量因子
• 訓練總Token數、訓練總耗時（GPU-hours）、公開的訓練成本估算
• 基準測試分數（MMLU、HumanEval、GSM8K等）以控制質量變數
• 來源：各個公司的技術報告/部落格、arXiv論文、Hugging Face模型卡

二、API定價與調價公告（持續追蹤）

• 各主要廠商的輸入/輸出Token定價，關注調價頻率與幅度
• 批次折扣、長上下文附加費、微調模型託管費等定價結構變化
• 來源：OpenAI、Anthropic、Google Cloud、DeepSeek、Mistral等官網定價頁

三、推論架構效能基準（每季度關注）

• vLLM、TensorRT-LLM、SGLang等主流推論架構的MoE模型吞吐對比（tokens/s）
• 不同GPU型號（H100、H200、MI300X）的MoE推論MFU
• 來源：架構GitHub釋出日誌、MLPerf推論基準（每年2輪）、第三方測評（如Artificial Analysis平台）

四、硬體路線圖與供應鏈（每季度關注）

• NVIDIA Blackwell量產進度與HBM交付情況
• AMD MI300X/MI350系列推論軟體棧成熟度
• Groq、Cerebras等專用晶片的客戶採用公告
• HBM市場供需與價格（TrendForce、DRAMeXchange報告）

五、學術前沿（持續關注會議）

• MoE架構創新（ICML、NeurIPS、ICLR年度會議）
• 推論系統最佳化（MLSys、OSDI、SOSP）
• 稀疏計算與通訊演算法（SC、NSDI）

六、產業分析報告（每半年至一年）

• SemiAnalysis、Omdia、IDC等機構關於AI推論經濟性的深度報告
• 雲端廠商財報中AI推論營收段落（AWS、Azure、GCP的AI服務營收增速）

七、開源社群動態（持續追蹤）

• Hugging Face上新增MoE模型的規模、有效引數比
• DeepSpeed-MoE、Megatron-LM等架構的更新日誌
• 開源路由策略（如Aux-Free Load Balancing）的工程實現進展

信源

本文所引資訊的原始來源分類列舉：

一手信源（模型技術報告與官方公告）

• DeepSeek-V2 Technical Report (2024.05) / DeepSeek-V3 Technical Report (2024.12)
• Google: GLaM: Efficient Scaling of Language Models with Mixture-of-Experts (2022, arXiv:2112.06905)
• Google: Switch Transformers (2021, arXiv:2101.03961)
• Google: GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (2021, arXiv:2006.16668)
• Mistral AI: Mixtral of Experts 技術部落格 (2023.12)
• X.AI: Grok-1 開源模型卡 (2024.03)
• OpenAI、Anthropic、Google Cloud、DeepSeek 等 API 官方定價頁

二手分析與行業報告

• SemiAnalysis: 多份關於MoE架構與推論經濟性的付費報告（2023-2024）
• Artificial Analysis: 獨立第三方LLM推論效能與定價對比平台 (artificialanalysis.ai)
• Grand View Research: AI推論即服務市場報告 (2024)
• Omdia: 全球AI晶片市場預測 (2024)
• TrendForce: HBM市場報告 (2024H2)
• Morgan Stanley: 雲端AI研究報告 (2024.09)

學術論文與工程部落格

• NVIDIA Megatron-LM 團隊技術部落格
• Microsoft DeepSpeed-MoE 教程與論文
• vLLM、TensorRT-LLM、SGLang 等推論架構的 GitHub 文件與論文
• MLSys、OSDI、NSDI 等系統會議論文

財經與公司動態

• NVIDIA、AMD、Microsoft 等上市公司季度財報及電話會記錄
• Bloomberg、Reuters、TechCrunch 對 Mistral、Groq、Cerebras 等創業公司的融資與估值報道

---