總引數

3 秒看懂

總引數(Total Parameters)是深度學習模型中所有可學習權重與偏置的數量總和,直接決定模型的“理論容量”(Capacity)與儲存規模邊界。它不等同於每步計算實際被啟用的引數,尤其是在混合專家(MoE)等稀疏架構中,總引數可達萬億級,但單次推論的啟用引數僅為其幾分之一甚至更低。這個指標本質上是“模型尺寸”的物理度量,而非直接的“智慧水平”度量。

3 分鐘產業解釋

總引數常被用作衡量大型模型“大小”的代理指標:GPT‑3 為 175B(2020 年,OpenAI 官方論文),PaLM 為 540B(2022 年,Google 官方部落格),Google 的 Switch Transformer 更是達到了 1.6T 引數(2021 年,arXiv:2101.03961)。每增加一個引數,意味著多了一個需要在訓練中通過反向傳播學習、在推論時需要佔據視訊記憶體或記憶體的浮點數值,因此總引數與訓練成本、硬體需求呈強正相關。

但有兩個關鍵偏差在產業討論中常被忽略,容易導致誤判:

稀疏架構的干擾:在混合專家(MoE)模型中,單次前向傳播僅路由至部分專家(通常 1~2 個)。此時,真實的計算負載由“啟用引數”決定。例如,Mixtral 8×7B 總引數約 46.7B,但啟用引數僅約 12.9B(2024 年,Mistral AI 技術報告),推論成本更接近一個 13B 的密集模型,而非 47B。
精度的稀釋效應:同等引數量的模型,採用 FP32(4 位元組)、FP16/BF16(2 位元組)或 INT8/INT4(1/0.5 位元組)時,實際儲存空間與視訊記憶體頻寬需求相差可達 8 倍(4 位元組 vs 0.5 位元組)。一個 175B 的 BF16 模型需約 350GB 儲存,但量化為 INT4 後僅約 87.5GB,總引數數未變,但硬體門檻巨幅下降。

產業界正從單純攀比“總引數”的數字競賽,轉向追求“有效算力利用率”(MFU)和“稀疏啟用效率”,力圖在有限的計算預算和推論成本約束下,實現模型能力的最大化。

15 分鐘專家深入

總引數的精確計算依賴於對模型架構的完整拆解。以當前主流大語言模型所採用的 Transformer 解碼器為例,每一層的可學習引數主要分佈在兩個子結構中:多頭自注意力(MHSA)和前饋網路(FFN)。

對於密集模型,以 GPT‑3 的實際規格為例(Meta 未完全開源,以下基於論文《Language Models are Few‑Shot Learners》及社群復現確認):

模型維度 d_{model}=12288
層數 L=96
注意力頭數 n_{heads}=96,每頭維度 d_k=d_v=128
FFN 中間層維度 d_{ff}=4 \times d_{model}=49152

每層的自注意力部分包含 Q、K、V 和輸出投影矩陣,若 d_k = d_v = d_{model}/n_{heads},無偏置,引數量為: 4 \times d_{model}^2 = 4 \times 12288^2 \approx 603,979,776 個引數。

FFN 部分包含兩個線性層,引數量為: 2 \times d_{model} \times d_{ff} = 2 \times 12288 \times 49152 \approx 1,207,959,552 個引數。

每層合計約 1.812B 引數。96 層合計約 173.95B 引數。加上詞嵌入矩陣(詞表大小 V 與 d_{model} 的乘積)以及可能的輸出層權重、位置編碼等,總引數逼近 175B。注意,若詞嵌入與輸出層權重共享,可節省部分引數,但 GPT‑3 未採用此策略。

對於 MoE 模型,結構發生質變。以 Mixtral 8×7B 為例(2024 年,Mistral AI 論文《Mixtral of Experts》,arXiv:2401.04088),其並非將 FFN 直接複製 8 次,而是在每一層用 8 個專家 FFN 替換原有的單個 FFN,並引入一個路由門控網路 W_r。總引數計算公式為:

\Theta_&#123;total} = \theta_&#123;shared} + E \cdot \theta_&#123;expert}

其中共享部分 \theta_{shared} 包含自注意力權重和各層的歸一化引數,專家部分 \theta_{expert} 為每個 FFN 的權重,專家數 E=8。單 token 的啟用引數為:

\Theta_&#123;active} = \theta_&#123;shared} + k \cdot \theta_&#123;expert}

式中 k 為每次啟用的專家數,Mixtral 設為 2。該模型總引數 46.7B,但 k=2 時啟用引數僅 12.9B,這正是其推論效能優異的核心。

一個極易出現的錯誤說法:將“啟用引數約為總引數的 frac(k){E}”直接推廣。這忽略了共享層權重在全過程中被完全啟用的事實。正確的拆解應區分模型中的密集部分和稀疏部分,密集部分佔據了不可忽視的引數量。在 Mixtral 中,共享引數(主要是注意力權重)約佔其啟用引數的 20%-30%(據社群分析,官方未逐項揭露)。

訓練時的視訊記憶體放大效應:總引數主導了訓練硬體需求。在混合精度訓練中(模型引數 FP16,梯度 FP16,最佳化器狀態 FP32),Adam 最佳化器每個引數需要儲存:引數本身(2 位元組)、梯度(2 位元組)、動量(4 位元組)、二階矩(4 位元組),總計每引數約 12 位元組。若包含引數副本 FP32 主權重,則膨脹至 16-20 位元組。因此,一個 175B 引數的模型,僅最佳化器狀態就需約 1.4TB 視訊記憶體,單卡幾乎不可能完成,必須藉助張量並行(TP)、流水線並行(PP)和資料並行(DP)以及 ZeRO 等最佳化狀態分片技術。

關鍵引數

評估總引數的實際影響時,不能孤立看“數字”,必須結合以下關鍵口徑引數,構成一個完整的評價矩陣:

總引數量 計量單位:B(十億)或 T(萬億)。這是最原始的規模指標。來源必須是官方技術報告或經第三方嚴格復現的公共記錄,否則應標註“行業推測”。例如:GPT‑4 的總引數,OpenAI 從未揭露,所有數字均無官方信源。
啟用引數量 單位同總引數。針對 MoE 或條件計算架構,這是比總引數更貼近“實際計算強度”的指標。其定義為:單 token 前向傳播所經過路徑上的引數總和。來源:模型架構論文中的明確公式。
精度格式與每引數位元組數 FP32(4 Bytes)、BF16/FP16(2 Bytes)、INT8(1 Byte)、INT4(0.5 Byte)。這直接決定了模型檔案的大小和推論時的權重頻寬需求。例如,一個 70B 的 BF16 模型權重檔案約 140GB,而 INT4 版本僅約 35GB。該引數常與“總引數”相乘計算儲存與視訊記憶體需求。
訓練視訊記憶體佔用(估算) 公式: text(Memory) \approx text(Total Params) \times text(Bytes per Param) \times (1 + 1 + 2 \times frac(4){2}) 即:模型 + 梯度 + 最佳化器(FP32)。一個 175B 的 BF16 模型理論下限約需 1.4TB (175B × 2 × 4),使用 ZeRO‑3 等分片技術後,單卡需求可降至 30-50 GB 級別,但需更大規模叢集和通訊開銷。實際測算資料取決於架構和並行策略。
每 Token 計算量(FLOPs) 經驗公式:前向傳播 FLOPs ≈ 2 × 總引數(密集模型)。即一個 175B 的密集模型,每處理一個 token 約需 3500 億次浮點運算。MoE 模型的 FLOPs 與啟用引數近似成正比,而非總引數。
模型檔案大小 公式: text(Size (GB)) = text(Total Params) \times text(Bytes per Param)。此為單精度、未壓縮的理論值。實際分散式儲存中,由於分片和後設資料,總佔用會略高於此。2024 年,Hugging Face 上主流的 7B BF16 模型權重檔案約為 13.5 GB,70B 模型約為 135 GB,可作為現實參照。
引數利用率 這是一個衍生指標: text(Utilization) = \frac{text(Activated Params)}{text(Total Params)}。密集模型為 100%,而 MoE 模型可設計在 20%-50% 之間。高的總引數配合低的利用率,意味著用“儲存換計算”,在推論延遲上可能有優勢。來源:同類架構對比。

(注:上述引數無單一標準化機構強制其定義,需在引用時說明計算口徑。)

技術路線

圍繞“如何高效構築高參數量的模型”,當前產業界並存兩條主流技術路線,其哲學分野在於對“總引數”的不同運用邏輯:

路線一:密集擴容路線

這是大型模型時代的起點範式。假設所有引數在每一次前向傳播中都被啟用,通過持續堆疊層數(L)和擴寬模型維度(d_model)來線性或超線性地推高總引數。 代表模型:GPT‑3(175B,2020),PanGu-α(200B,2021,華為),PaLM(540B,2022,Google)。 硬體與訓練基礎:高度依賴高頻寬視訊記憶體(HBM)和高速晶片間互聯(NVLink、Infiniband)。訓練採用 3D 並行(資料 + 張量 + 流水線),Megatron-LM 架構為此量身定製。優勢:架構簡單,擴充套件邏輯清晰,軟體棧成熟。 核心困境:算力成本增長與效能提升的邊際遞減。Chinchilla 定律(2022,DeepMind)在實證上證明,在給定 70B 引數規模與等量的計算預算下,用更多的 token 訓練一個 70B 模型,其效果顯著優於用較少 token 訓練的 175B 模型。這直接質疑了“錢燒在引數上”的效率。

路線二:稀疏 MoE 路線

保持或微增啟用引數量,通過引入大量並行專家,將總引數作為“可程式設計的儲存和知識庫”。每次計算僅啟用總引數的子集,實現“大容量,低算力”。 代表模型:Switch Transformer(1.6T,2021,Google)、GLaM(1.2T 總引數,97B 啟用,2021,Google)、Mixtral 8×7B(46.7B 總引數,12.9B 啟用,2024,Mistral AI)、DeepSeekMoE(145B 總引數,22.2B 啟用,2024,DeepSeek,公開論文)。 硬體與訓練基礎:MoE 的訓練引入了 All‑to‑All 通訊,對網路交叉互聯頻寬提出極高要求,負載不均衡易導致“專家坍塌”。DeepSpeed‑MoE 等架構專門優化了此類並行策略。優勢:以較低推論成本撬動巨大型模型容量,支援萬億級總引數。 核心困境:訓練穩定性、專家負載平衡、微調泛化性。當總引數極高時,即使是推論,模型的純儲存壓力(需離線儲存全部專家權重)仍然巨大,對冷熱資料分層和 HBM 容量提出物理限制。

對比總結:

維度	密集模型路線	稀疏 MoE 模型路線
總引數規模	數十億 ~ 千億	數百億 ~ 萬億
啟用/推論成本	與總引數嚴格成正比,成本極高	與啟用專家數成正比,成本可控
訓練難度與算力瓶頸	視訊記憶體牆、計算牆	通訊牆、負載均衡挑戰
硬體核心驅動	HBM 容量、單節點 TFLOPS	片間互聯頻寬、HBM 頻寬、網路交換
代表廠商	OpenAI (GPT‑3), Meta (LLaMA)	Google (GLaM), Mistral, DeepSeek

(資料來源:各模型官方技術報告與論文,截至 2025 年 6 月已公開資訊。)

上游

總引數的膨脹,是半導體與互聯技術迭代的第一驅動力,其上游產業鏈涵蓋算力晶片(計算)、高頻寬儲存器(儲存)、互聯通訊(網路) 三大物理基礎。

1. GPU/加速卡——算力心臟 萬億引數模型的訓練,必須依賴千卡甚至萬卡級叢集。以 GPT‑4 傳聞的萬億級引數為例(未確認),若採用密集架構,訓練所需單精度 TFLOPS 足以讓任何一個單卡硬體崩潰,必須分散式。

核心單品:NVIDIA H100 SXM (80GB HBM3,2023 年出貨),H200 (141GB HBM3e,2024 年 Q2 起出貨),B200 (預計 2024 年晚些)。中國市場由於出口管制,上述型號的滿配版受限,華為昇騰 910B 成為國內唯一可支撐千億引數訓練的規模化替代品(據華為全聯接大會 2023 釋出資訊及產業調研)。
需求公式:訓練總視訊記憶體需求 ≈ 總引數 × 20 位元組(含最佳化器等)。一個 540B 的密集模型,訓練叢集的聚合 HBM 容量需至少 10.8TB 以上,加上冗餘,實際需要數百張 H100 或 H200。 資料來源:SK 海力士 2024 年 Q1 財報及投資者演示材料指出,HBM 銷量增長主要由“大語言模型對高容量 HBM 的需求”驅動,預測 2024 年 HBM 市場規模年增率增長 2 倍以上。輝達 2025 財年 Q1(截至 2024 年 4 月)資料中心業務營收達 226 億美元,年增率增長 427%,大力佐證了上游對總引數擴張的直接受益。

2. HBM 儲存器——頻寬與容量之基 總引數主導了“每卡需要裝下多少權重”。一張 H100 的 80GB HBM 若用於推論一個 175B 的 BF16 模型(需約 350GB 權重),單卡根本無法完成,必須多卡張量並行。這直接催生了更大的 HBM 容量需求。

主力產品:SK 海力士 HBM3(24GB/層,2022 年量產),HBM3e(36GB/層,2024 年 Q1 供應 NVIDIA)。三星電子同樣在 2024 年大規模擴產 HBM3。據市場調研機構 TrendForce(集邦諮詢)2024 年 5 月資料,SK 海力士與三星在 HBM 市場的合計份額超過 90%,HBM3e 已成 H200 的標配。
量與價:HBM 的 ASP(平均售價)是傳統 DRAM 的 3-5 倍,且作為總引數的剛性需求,其出貨量直接關聯智算中心建設的景氣度。

3. 互聯與網路 MoE 等大總參架構的 All‑to‑All 通訊,需要極高頻寬的跨卡互聯。

片間互聯:NVIDIA 的 NVLink(900 GB/s,雙向,8 卡 HGX 整機)(NVIDIA DGX H100 資料手冊,2023)和 NVSwitch,使 8 卡可以構成一個大型虛擬 GPU,共同容納一個大引數模型。
節點間互聯:InfiniBand(如 NDR 400Gbps)和 Spectrum‑X 乙太網路。光模組需求激增,800G 光模組成為 2024 年資料中心標配,中際旭創等供應商的出貨量年增率大增(據 LightCounting 2024 年 4 月報告及公司 Q1 財報)。

4. 國產算力鏈的結構性機會 受限於美對華先進製程 GPU 出口管制(2022 年 10 月,2023 年 10 月 BIS 規則逐步升級),國產 AI 晶片必須在受限的工藝下,通過先進封裝和 HBM 整合實現高視訊記憶體大算力。昇騰 910B 據信已達 400 TFLOPS (INT8)以上,並在訊飛星火、智譜 GLM 等大型模型訓練中得到規模化驗證(據各公司公開合作揭露)。但 HBM 的對華供應同樣受限,導致國內對長鑫儲存等國產 HBM 的期盼升溫(公開資料未見量產時間表)。

下游

大引數的模型,是 AI 產業的“基礎件”,通常不作為最終產品服務,其下游變現路徑需經過微調、壓縮、部署和 API 服務化。

1. 基礎模型 API 服務 直接以“即服務”形式提供大引數模型的推論能力。總引數越大,單次呼叫的算力成本越高,定價也越高。儘管 MoE 使啟用引數銳減,但仍需極大規模的視訊記憶體叢集來存放全量總引數(若模型未做冷熱分層)。

OpenAI GPT‑4 API:價格按 token 計,且輸入與輸出定價分離。雖未公開引數,但其 API 定價(2024 年 5 月版本)相對 GPT‑3.5 存在顯著溢價,間接反映了更大總引數與更多計算消耗。
國內 API 市場價格戰:2024 年 5 月起,字節跳動(豆包)、阿里雲端(通義千問)、百度(文心一言)、DeepSeek 等大幅下調或免費開放其大型模型 API(據各公司官方公告)。這暗示國內千億級引數模型的推論成本已大幅最佳化,MoE 和量化使高總參模型能以極低成本服務,總引數作為成本核心的壓力有所緩解。

2. 微調與垂直應用適配 下游開發者通常不直接訓練千億級模型,而是基於開源總引數模型(如 LLaMA‑3 70B, Qwen‑2 72B)進行微調。

引數高效微調(PEFT):LoRA、QLoRA 等技術只向原有的龐然總參主體注入極少量的可訓練權重(百萬~千萬級),凍結主體的總引數。這意味著一個 70B 模型的微調與部署,其核心執行成本仍由主體總引數決定,但迭代成本急劇降低。
垂直場景的困境:對於端側或私有化部署,哪怕啟用引數僅 12.9B,46.7B 的總引數仍意味著至少需要約 93GB(精度 BF16) 的視訊記憶體才可完整載入模型,這讓一機多卡的部署成本居高不下。剪枝、蒸餾與 INT4 量化成為下游將總引數“壓進”單張消費級或邊緣顯示卡的必備手段。

3. 終端應用的儲存瓶頸 一部智慧手機執行一個 INT4 量化的 7B 模型,需要約 3.5GB 的記憶體和充足的記憶體頻寬。這帶動了高通驍龍 8 Gen 3 和聯發科天璣 9300 (2023‑2024 年釋出)等 SoC 中整合更大 LPDDR5X 記憶體和更強 NPU 的設計趨勢。總引數,即使被壓縮,依然是終端 AI 硬體規格的“無形指揮棒”。

受益公司

基於公開的產業鏈分工、市場份額和客戶關係,直接受益於大型模型總引數持續擴張的上市公司與非上市公司可按環節劃分。所有市場份額、營收佔比資料均來自公司財報或權威第三方,並標註年份與口徑。不存在投資建議。

1. 算力核心:NVIDIA (NASDAQ:NVDA)

關聯邏輯:主流大型模型均基於 CUDA 生態訓練。總引數的增長直接拉動高階 GPU 出貨量。
資料:FY2025 Q1(截至 2024 年 4 月),資料中心營收 226 億美元,佔整體營收 86% ,年增率增長 427%。H100 與 H200 的 HBM 容量提升(80GB 到 141GB)是承接千億引數 MoE 模型推論的核心驅動力。
中國區影響:受許可管制,A800/H800 亦受限後,公開資料顯示 NVIDIA 中國區營收佔比降至個位數百分比(此前約 20%),但替代性算力需求仍強勁。

2. 高頻寬記憶體:SK 海力士 (KRX:000660) / 三星電子 (KRX:005930)

關聯邏輯:每張 GPU 的 HBM 容量與頻寬決定了可容納的引數規模。HBM3e 是萬億引數時代必不可少的配置。
份額資料:據市場調研機構 TrendForce 2024 年 Q1 資料,SK 海力士在 HBM3 市場市佔率約 53%,三星約 38%,兩家基本壟斷。SK 海力士 2024 年 Q1 營收創歷史新高,營業獲利毛利大增,明確歸因於“HBM 在 AI 伺服器的強勁需求”。
地緣變數:SK 海力士在華無錫工廠受限於美國政策,產線升級面臨不確定性,這構成結構性供應風險(後詳風險部分)。

3. 伺服器與組裝:超微電腦 (SMCI, NASDAQ) / 工業富聯 (FII, 601138.SH)

關聯邏輯:千卡至萬卡 GPU 叢集的物理承載與散熱方案,高總引數 MoE 的 All‑to‑All 通訊對機櫃內佈線要求極高。
資料:SMCI FY2024 Q3(截至 2024 年 3 月)營收 38.5 億美元,年增率增長 200%,其液冷方案與 GPU 伺服器出貨與 AI 投資呈強正相關。工業富聯(鴻海旗下)是 NVIDIA 主力 AI 伺服器 OEM,其 2023 年年報顯示“AI 相關伺服器出貨強勁,佔整體伺服器營收 30%”。

4. 光模組與互聯:中際旭創 (300308.SZ)

關聯邏輯:總引數向萬億邁進,訓練叢集規模從千卡向萬卡過渡,800G 光模組成為必選項。
資料:據 LightCounting 資料及公司 2024 年 Q1 財報,中際旭創 800G 產品出貨量年增率大幅增長,已成為Google、輝達等的主要供應商。2024 年 Q1 營收與淨利年增率均增長超 150%(公開財報口徑)。

5. 國產算力:華為(海思)/海光資訊/寒武紀

關聯邏輯:受制於實體清單,中國客戶無法獲取最先進的 GPU,必須依賴本土產品來維持千億級引數模型的持續訓練與迭代。華為昇騰是主要力量。
定性與量:公開報道顯示昇騰 910B 已被中國移動、科大訊飛等用於大型模型訓練,支援萬億引數 MoE 的叢集方案(Atlas 900)已有新聞稿揭露,但具體財務和市場佔比資料未見公開拆解。海光資訊的深算系列 DCU 以類 CUDA 生態切入,2023 年年報顯示其營業營收年增率大漲,但具體大型模型貢獻比例不詳。寒武紀思元 590 等產品仍在早期市場推廣期,公開資訊未見大規模大型模型訓練部署。

6. 模型開發與釋出者:OpenAI, Google, Meta, Mistral, 字節跳動, 阿里雲端, 百度, DeepSeek, 智譜

非直接上市公司的收益無法通過公開股價體現。但作為萬億美元級產業鏈的需求源頭,其在資本支出的動向至關重要。比如,微軟 FY2024 Q3(截至 2024 年 3 月)資本支出 140 億美元,絕大多數用於 AI 算力(據微軟業績交流會),間接反映了為支撐大引數模型的巨大投入。

市場規模

由於“總引數”本身是一個技術指標而非一個買賣市場,這裡的市場規模估算,實際對應的是“因模型引數增長而直接帶動的 AI 基礎設施市場(TAM)”。以下資料均引自第三方機構,標註年份與口徑。

1. AI 晶片市場(直接引擎) 據 Gartner 2024 年 4 月釋出的《半導體 DQ 預測》及內部口徑,2024 年全球 AI 晶片營收預計將達到 710 億美元,較 2023 年增長 33%,其中資料中心 GPU 和定製化 ASIC(如 Google TPU)佔絕大部分。

HBM 子市場:集邦諮詢(TrendForce) 2024 年 5 月預測,2024 年全球 HBM 市場將達 180 億美元以上,且佔 DRAM 整體產業超過 20% 的產值,2025 年預計突破 250 億美元。這個市場的直接驅動力就是模型引數的倍數增長對“每 GPU HBM 容量”的剛性需求。

2. 訓練即服務(TaaS)與雲端算力市場 據 Forrester 及第三方行研機構 F&S 對雲端廠商 AI 服務營收的估算(綜合 2024 年 Q1 多家券商報告),2024 年全球大型模型訓練與推論相關的雲端基礎設施服務市場規模在 400 億 - 500 億美元區間。該數字的增量主要來自:

模型從千億引數向萬億引數的探索性訓練(單次成本可達 1 億 - 2 億美元,基於 Chinchilla 定律和公開算力價格反推,確切的單一訓練成本未見各家揭露);
MoE 模型雖然啟用引數少,但儲存全量引數仍需要海量視訊記憶體堆疊,推高了推論節點的硬體保有量。

3. 中國智慧算力規模 據 IDC 2023 年末釋出的《中國加速計算市場半年度追蹤報告》,2023 年中國智慧算力規模達 414 EFLOPS (FP16),預計 2027 年可達 1436 EFLOPS。2023 年從千億引數密集模型向萬億稀疏模型的軍備競賽,是中國智算中心建設的核心拉動因素。

三大運營商(中國移動、電信、聯通)在 2023 年已明確揭露了智算中心千卡叢集的採購並強調了“支援萬億引數模型”;
2024 年“東數西算”樞紐智算中心利用率提升,但國產卡與 CUDA 生態的遷移成本仍是 TAM 實現的摩擦項(來源:公開新聞及政府部門檔案)。

邊際增量評估:由總引數持續高增所衍生的 “冗餘引數量”儲存需求,是 MoE 時代新的市場增量極。每個萬億引數的 MoE 模型,即使推論時僅啟用 100B,也必須完整儲存 1T 權重的分片映象。這部分“存下來的引數”直接消耗 HBM 和 SSD 儲存,成為 HBM 在 2024 年瘋漲的最重要結構性解釋。公開資料未單獨拆分此細分市場的金額,但據行業內調研,大型智算中心用於 MoE 模型的儲存層容量,預計在 2024-2025 年有 3-5 倍的擴容需求。

玩家對比

下表對全球及中國最具代表性的高參數量模型進行橫向對比,重點剖析“總引數 vs 啟用引數”的架構選擇差異。所有資料均取自官方技術報告、公開論文,推測部分已明確標註。

模型	機構	推出時間	總引數量	啟用引數量	模型架構	關鍵硬體/訓練
GPT‑3	OpenAI	2020.06	175B	175B (密集)	密集 Transformer	NVIDIA V100 叢集(據微軟 AI 超算揭露)
Switch Transformer	Google	2021.01	1.6T	較小 (k=1 至 2)	MoE	TPU v3 (論文未詳述叢集規模)
GLaM	Google	2021.12	1.2T	97B (k=2)	MoE, 64專家/層	TPU v4 (約 1024 個)
PaLM	Google	2022.04	540B	540B (密集)	密集 Transformer	TPU v4, 6144 個晶片,訓練約 50 天
GPT‑4	OpenAI	2023.03	未揭露	未揭露	推測為 MoE (行業傳聞)	NVIDIA H100 (大致,微軟 Azure 超算)
Mixtral 8×7B	Mistral AI	2024.01	46.7B	12.9B (k=2)	MoE	未揭露,社群估計中等規模叢集
DeepSeek‑V2	深度求索	2024.05	236B	21B (k=6) (含共享)	MoE	未揭露,自研架構
Qwen‑2‑72B	阿里雲端	2024.06	72B	72B (密集)	密集 Transformer	未揭露
文心一言 4.0	百度	2023.10	未揭露	未揭露	推測為大引數 MoE	自研崑崙芯 / 昇騰
混元大型模型	騰訊	2023.09	千億級 (未精確)	未揭露	MoE	未揭露

對比洞察:

中美分野:美國廠商公開論文中模型引數的上限已至萬億級(Google,儘管是 2021 年),且 Google 的 TPU 路線克服了萬卡互聯的部分瓶頸。中國廠商在 2024 年密集推出千億級 MoE 模型,公開引數雖低於美國頭部,但啟用引數與效能之比(即推論效率)是核心追趕方向。
開源 vs 閉源:以 LLaMA‑3、Mixtral、Qwen‑2、DeepSeek‑V2 為代表的開放權重模型,其總引數已逼近甚至超越 GPT‑4(若其確為約 1.8T 傳聞)的一半,啟用引數量更在一個量級。這顯著加速了下游應用的部署普及。
總引數揭露意願下降:隨著模型進入商業競爭,GPT‑4、Gemini、Claude 3 等閉源模型均不揭露引數,以免被競爭者反推架構和訓練成本,這增強了市場對總引數指標的“訊號模糊”,推動評估向實測效能(MGSM, HumanEval 等)轉移。

(注:GPT‑4 為行業推測,缺乏官方來源,已在表中標註。)

風險

總引數作為核心技術指標,其背後驅動產業所面臨的風險,既來自技術本身,也受地緣政治與商業模式的強約束。

1. Chinchilla 定律的“引數牆”風險 擴充套件定律表明,對於固定的訓練計算預算,過度增加總引數會犧牲資料量,導致模型效能次優。如果新一波萬億引數模型在有限資料下訓練(據 2024 年預測,公開高質量文本資料約 15T-20T token 見頂,未含合成數據),那麼越大的總引數,可能帶來越嚴重的過擬合和泛化能力下降,形成“大而無當”的浪費。這會直接降低超大規模叢集訓練投資回報率。

2. 摩爾定律的物理限制與視訊記憶體天花板 HBM 雖在容量和頻寬上飛漲,但每 bit 的功耗與成本降低速度正在放緩。一個萬億引數的模型,即使 INT4 也需約 500GB 儲存,訓練過程中僅模型本身 FP16 就需 2TB。這迫使記憶體牆成為一個硬性、無法通過演算法完全消解的問題。如果 3D DRAM 和玻璃基板等新技術不能按期成本平價化(據台積電和 SK 海力士技術路線圖,均在 2026-2027 年之後),以總引數膨脹為基石的路線將面臨硬體供給停滯。

3. 地緣政治供應鏈斷裂風險(核心) 2023 年 10 月美國 BIS 出口管制規則全面升級,施加“效能密度”和“總處理效能”雙重限制,導致中國無法獲取輝達 H100/B200 及 HBM3e 等最先進硬體。一旦 SK 海力士、三星的高頻寬記憶體供輸華中斷,國產 GPU(昇騰等)自身效能又暫未完全彌合 HBM 差距,中國萬億引數競賽可能失速,從“縮水引數”走向“轉向高效小模型”的路徑,對已版面配置的規模龐大的智算基建構成重大沉沒成本風險(據《金融時報》2024 年 4 月相關報道分析及 SIA 宣告)。

4. MoE 自身的技術陷阱與規模負效應

訓練不穩定性:專家坍塌、路由極化是 MoE 的常見災難性故障,模型越大,越難精細調參,訓練失敗成本(數千萬美元量級)極高。
知識碎片化:每個專家學習到的知識割裂,總引數雖大,但在一項複雜推論中難以像密集模型一樣有效綜合,微調時也容易出現災難性遺忘,實際可用性打了折扣。這屬於 MoE 的“結構性損耗”。
推論儲存負擔:總引數必須存下來,部署一個 1.8T 引數的 MoE 模型,在冷熱分層不完善時,仍需天量的記憶體池,限制了邊緣化和低成本 API 的推廣。

5. 商業價值兌現的不確定性 龐大的總引數帶來的邊際智慧提升(Metric 如 MMLU 提升 1-2 分),是否被終端使用者和付費企業感知並願意支付溢價值。若應用層爆款缺失,基礎設施的過度投資將面臨與 5G 早期類似的“管道化”矛盾,大引數變成高固定成本和低邊際收益的“白象”。

誤讀糾偏

圍繞總引數,存在六個深層的、來自產業認識上的常見偏差,需被嚴格糾正。

1. 誤讀:“模型引數越大,智慧一定越強。”

糾正:縮放定律(the Chinchilla Law)確切指出,這不是線性關係。“算力、引數、資料”存在最優配比。一個 70B 用 2T tokens 訓練的模型,效能吊打 170B 用 300B tokens 訓練的模型(Meta LLaMA‑2 論文即側面佐證)。盲目拼總引數而吝嗇訓練資料,屬於典型的“面子比裡子大”。

2. 誤讀:“MoE 啟用引數 = 總引數 ÷ 專家數。”

糾正:這是嚴重的計算錯誤。正確的公式是 “啟用引數 = 共享注意力層 + k × 每個專家 FFN 引數”。共享層權重在每一步中都 100% 啟用。以一個 46.7B 的 MoE 模型為例,若專家 8 且 k=2,忽略共享層則會低估啟用引數,實際啟用為 ~12.9B,而非 46.7/4 ≈ 11.7B。這會影響推論算力預估甚巨。

3. 誤讀:“總引數決定模型檔案大小,是絕對的。”

糾正:模型檔案大小 = 總引數 × 每引數位元組數(精度)。FP32 的一個 1B 引數是 4GB,INT4 是 0.5GB。如果不提精度,大談“模型用了幾百 GB”毫無意義。這是儲存、頻寬採購時的關鍵口徑。

4. 誤讀:“萬億引數模型日常推論需要萬億引數的計算。”

糾正:對於 MoE,僅計算啟用的專家部分。產業的真相是:萬億總參的模型,其推論延遲和功耗可能僅與數百億的密集模型類似,這才使得萬億引數商用成為可能。因“萬億”數字而產生難以企及的畏難情緒屬於誤判。

5. 誤讀:“公開引數顯示越大,該廠商技術越強。”

糾正:部分廠商選取 MoE 可在極短時間內將總引數吹大(增加專家即可),但訓練是否收斂、負載均衡是否穩定、最終推論得分如何,是更嚴苛的考驗。要警惕純粹為了“宣稱 Total Params 過一個門檻”的 PR 式膨脹,更應關注“啟用每引數產生的 benchmark 得分”。

6. 誤讀:“總引數是固定的物理量,一旦訓練好就不會變。”

糾正:在實際推論中,剪枝、蒸餾、甚至動態計算路由都會使得有效使用的引數不同。並且一些模型未公開權重精度,或者使用了動態精度,使引數這個數字在實際工程落地時只是“最大公約”檔案,而非一成不變的靜態物理量。

追蹤指標

對於關注總引數這一產業變數的分析師、從業者與投資者,建議建立以下硬資料追蹤儀表板,按月度或季度校準認知。

1. 模型維指標

新發模型引數揭露:按月追蹤 Hugging Face Open LLM Leaderboard、各 AI Lab 官方部落格的引數宣告。重點區分“總引數”與“啟用引數”。
MoE 專家數與 k 值:如新發布模型為 MoE,記錄其每層專家數和啟用數。這決定推論效率底數。
精度格式演進:主流部署格式從 BF16 到 INT4 的遷移率,可觀察 Hugging Face 社群中量化版本佔比。

2. 硬體供給維指標

HBM 價格與交期:追蹤 TrendForce、DRAMeXchange 對 HBM3/HBM3e 的現貨價及合約價趨勢。價格向上意味供給緊,總引數擴張需求強勁;交期延長則暗示產能瓶頸。
輝達資料中心營收及下季展望:在美股財報季(每年 2、5、8、11 月),輝達此兩項資料是總引數投資熱度的最直接財務對映。
中國昇騰/海光交付與萬卡叢集新聞:通過政府招標網、三大運營商採購公告、產業媒體,監測國產卡支撐萬億引數叢集的交付進展。

3. 成本與商業化指標

API 每百萬 token 價格:彙總 OpenAI, Anthropic, Google Cloud, 阿里雲端, 百度, 位元組等的主要模型 API 報價。持續降價意味著總引數對成本的主導力減弱,啟用效率或量化技術取得突破。
模型單次訓練成本估算:當有新的訓練規模或叢集的論文/報告發布時,綜合計算算力 x 單價(通常需根據雲端服務商公開報價反推)。

4. Scaling Law 學術指標

新縮放定律論文:關注 arXiv 上是否有挑戰或修正 Chinchilla 的論文。這關係到“增加總引數”本身的哲學還否成立。
公開資料的總 Token 量估算:各大型模型訓練資料的 token 總量,是預判總引數盲目膨脹是否會撞上資料牆的前置訊號,需關注 Common Crawl 等語料庫及合成數據有關的新資料集釋出。

5. 法規與地緣政治指標

美國 BIS 出口管制實體清單與規則更新:特別是關於總處理效能(TPP)和效能密度(PD)的計算規則的修改備忘錄。
中國工信部 / 發改委的新基建、算力基礎設施相關政策:特別是涉及國產大型模型叢集和存力的扶持細則與補貼規模。

信源

為確保資訊可靠、可追溯,所有核心判斷與資料均基於以下信源類別。在以上正文中,已按場合給予具體引用。此處提供集中索引,以便核實與深化研究。

1. 學術論文(原始定義與縮放定律)

Vaswani et al. “Attention Is All You Need” (arXiv:1706.03762, 2017). ——Transformer 結構引數計算基礎。
Kaplan et al. “Scaling Laws for Neural Language Models” (arXiv:2001.08361, 2020). ——首篇引數-算力-資料縮放規律。
Hoffmann et al. “Training Compute-Optimal Large Language Models” (arXiv:2203.15556, 2022). ——Chinchilla 縮放定律,重新定義了引數與資料的最

三步設好你的觀察臺

選 1-3 個想觀察的人或賽道

看一份樣張

設定一次異動告警

總引數

總引數

3 秒看懂

3 分鐘產業解釋

15 分鐘專家深入

關鍵引數

技術路線

路線一:密集擴容路線

路線二:稀疏 MoE 路線

上游

下游

受益公司

市場規模

玩家對比

風險

誤讀糾偏

最新事件

追蹤指標

信源

總引數

3 秒看懂

3 分鐘產業解釋

15 分鐘專家深入

關鍵引數

技術路線

路線一:密集擴容路線

路線二:稀疏 MoE 路線

上游

下游

受益公司

市場規模

玩家對比

風險

誤讀糾偏

最新事件

追蹤指標

信源

相關推薦

同產業鏈 · 相關公司

相關概念