引數量

3 秒看懂

引數量是深度學習模型中所有可學習權重與偏置的總數，直接決定模型的“規模”——它既是表達能力的底子，也是計算、儲存、通訊開銷的根因。在 Transformer 時代，引數量常被用來快速衡量一個模型的量級，但並非越大越好；稀疏模型（如 MoE）的“啟用引數量”遠小於總引數量，澄清這一區別是讀懂現代大型模型的關鍵。

3 分鐘產業解釋

引數量可以理解為模型內部的“可調節旋鈕”個數。訓練時，每一個引數都根據資料不斷調整，以擬合複雜的輸入-輸出關係。一般而言，更多引數意味著更高的容量上限，但也需要更多的高質量資料、算力和更長的訓練時間，否則極易過擬合。

產業實踐中，引數量已從早期深度學習的百萬量級，膨脹到如今的千億甚至萬億量級。這種擴充套件催生了“縮放定律”（Scaling Laws），即在一定條件下，模型效能隨引數量、資料量和計算量的冪律增長而提升。但近兩年的趨勢已分化：一邊是繼續追求極致規模的基礎模型，另一邊是通過稀疏啟用（Mixture-of-Experts, MoE）、引數高效微調（PEFT）、量化、剪枝等手段，在有限的啟用引數量下獲得接近甚至更好的效果。因此，讀懂“總引數量”和“有效引數量”的差異，已是產業鏈各環節的必修課。

技術原理

引數的本質與儲存形式

每一個引數都是一個可微的標量，通常以 float32（4位元組）或 bfloat16（2位元組）等浮點格式儲存。訓練時，最佳化器會為每個引數維護梯度，甚至一階/二階動量（如 Adam 需維護 m 和 v 兩個狀態量），這導致最佳化器狀態佔用的視訊記憶體往往是引數本身的數倍。以 Adam 最佳化器為例，每個引數需額外儲存兩個與引數同尺寸的狀態變數，若引數以 bf16 儲存（2位元組），而最佳化器狀態通常以 fp32 儲存（4位元組），則最佳化器狀態佔用為 8 位元組/引數，是引數本身佔用的 4 倍。推論時則僅需載入引數本身，因此對視訊記憶體和頻寬的壓力相對降低。

逐層引數量計算

以下以典型 Transformer 解碼器塊為例，定性展示引數量的構成。設輸入隱藏維度為 d_model，前饋層中間維度為 d_ff，注意力頭數為 h，詞表大小為 V，層數為 L。單層引數量的典型構成如下：

自注意力投影層：Q、K、V、O 四個矩陣，每個形狀為 [d_model, d_model]（部分實現中存在 bias 項，此處忽略以簡化計算）→ 引數量 = 4 × d_model²
前饋層（FFN）：兩個線性層 W1 [d_model, d_ff] 和 W2 [d_ff, d_model] → 引數量 = 2 × d_model × d_ff
層歸一化（LayerNorm/RMSNorm）：包含縮放和偏移引數，每個形狀為 [d_model]，通常有 2 個，引數極少，約 2 × d_model，在大型模型中可近似忽略
詞嵌入矩陣：[V, d_model] → 引數量 = V × d_model
最終輸出頭（lm_head）：若與嵌入層共享權重（Weight Tying），則不計入額外引數；若不共享，則引數量 = d_model × V

總引數量 ≈ L × (4×d_model² + 2×d_model×d_ff) + V×d_model  (+ V×d_model，若輸出頭不共享)

以 Llama 2 70B 為例（公開技術報告，Meta，2023 年 7 月），其 d_model=8192，d_ff=28672，V=32000，L=80，採用 Weight Tying。據此可大致估算其引數量級：單層 ≈ 4×8192² + 2×8192×28672 ≈ 268M + 470M ≈ 738M，80 層 ≈ 59B，加上嵌入層 32000×8192≈262M，總量約 59.3B，與官方標稱的 70B 在量級上一致（實際實現中存在其他引數項與偏置）。

對於卷積神經網路（CNN），卷積層的引數量取決於卷積核尺寸 K×K、輸入通道數 C_in、輸出通道數 C_out，單個卷積層的引數量 = K² × C_in × C_out（不含 bias）。全連線層則為輸入神經元數 × 輸出神經元數。

引數量與計算量的關係

在標準 Transformer 解碼器的自迴歸生成中，單 token 前向傳播的計算量（FLOPs）近似為 2 倍的引數量。對於完整的前向傳播（處理 T 個 token），計算量 ≈ 2 × P × T，其中 P 為總引數量。這一近似關係源於每個引數在前向傳播中大致參與一次乘法和一次加法（即一次 MAC，計為 2 FLOPs）。訓練時還需反向傳播，計算量約為前向的 2 倍，總計約為前向的 3 倍（即總計算量 ≈ 6 × P × T × 訓練步數）。

這一關係直接決定了訓練成本：一個千億引數模型（P=100B），處理 1 萬億 token（T=1T）的資料，僅前向傳播就需要約 2×10¹¹ × 10¹² = 2×10²³ FLOPs，即 200 ZettaFLOPs。以 NVIDIA H100 GPU（FP16 下約 989 TFLOPS 理論峰值，公開規格）為例，理論單卡需約 2×10²³ / 9.89×10¹⁴ ≈ 2×10⁸ 秒（約 6.3 年），實際訓練需數百至數千張加速卡並行執行數週至數月。

訓練中的視訊記憶體佔用分解

訓練大型模型時的視訊記憶體佔用由四個主要部分構成，可用以下公式近似表達：

總視訊記憶體 ≈ 引數儲存 + 梯度儲存 + 最佳化器狀態 + 中間啟用值

引數儲存：P × bytes_per_param（如 bf16 為 2×P 位元組）
梯度儲存：與引數同精度，通常 fp32 儲存，為 4×P 位元組
最佳化器狀態：以 Adam 為例，m 和 v 各佔 4×P 位元組（fp32），共 8×P 位元組；若使用 AdamW，還需儲存權重衰減相關量
中間啟用值：取決於批次大小（batch size）、序列長度、d_model 及並行策略，通常採用啟用重計算（Activation Recomputation）進行時間換空間的權衡

以 bf16 引數、Adam 最佳化器（fp32 狀態）為例，引數本身的 2×P 位元組加上梯度與最佳化器狀態的 12×P 位元組，基礎儲存係數約為 14×P 位元組（不含啟用值），其中最佳化器狀態佔比最大（約 57%）。近年來，8-bit 最佳化器（如 bitsandbytes 提供的 8-bit Adam）可將最佳化器狀態壓縮至約 2×P 位元組，大幅降低訓練視訊記憶體需求。

量化對引數量與計算的影響

模型權重的數值精度並不改變引數量本身（引數個數不變），但顯著改變儲存和計算開銷：

從 fp32（4位元組）降至 bf16（2位元組），儲存減半
從 bf16 降至 int8（1位元組），儲存再減半
從 int8 降至 int4（0.5位元組），儲存進一步壓縮

量化技術分為訓練後量化（Post-Training Quantization, PTQ）和量化感知訓練（Quantization-Aware Training, QAT）。PTQ 可直接對已有模型進行量化，無需重新訓練；QAT 則在訓練過程中模擬量化效果，通常能獲得更高的精度保留率。以 GPTQ、AWQ 等主流演算法為例，4-bit 量化通常可將模型推論視訊記憶體需求降至 bf16 的約 1/4，同時效能損失控制在較小範圍內（具體損失因模型規模、任務和量化方案而異，公開資料多見 1-3% 以內的準確率波動）。

稀疏模型與有效引數量

MoE 架構是當前實現萬億級引數模型的核心技術路徑。其核心思想是將 Transformer 中的部分前饋層（FFN）替換為多個並行的“專家”網路（通常每個專家的結構與原始 FFN 相同或類似），並通過一個可訓練的路由器（Router/Gate）為每個 token 動態選擇 1-2 個專家參與計算。

因此，總引數量可以極大（所有專家引數之和），但每次前向傳播實際被啟用的引數僅為：

所有共享層（注意力層、層歸一化等）的引數
被選中的專家（通常 1-2 個）的引數

以 Mixtral 8×7B（Mistral AI，2023 年 12 月）為例，其總引數量約 46.7B，但每個 token 僅啟用約 12.9B 引數。Switch Transformer（Google，2021）更極致地採用單專家啟用策略（top-1 gating），萬億引數規模下仍能控制在合理計算量內。

MoE 並非沒有代價：路由器訓練需額外負載均衡損失（Load Balancing Loss）以避免專家坍塌，通訊開銷因 all-to-all 分發而增加，且在批次較小時可能出現專家利用率不均。

引數高效微調的原理與外延

針對已預訓練好的大型模型，引數高效微調（PEFT）通過僅訓練極少量新增引數來實現任務適配，而不修改原有龐大的基座引數。主流方法包括：

LoRA（Low-Rank Adaptation，微軟，2021）：在原始權重矩陣旁加入低秩分解矩陣 A×B，僅訓練 A 和 B。以 d_model=4096、秩 r=16 為例，新增引數量約為 4096×16×2（注意：此處為示意量級，實際 LoRA 可作用於 Q、K、V、O 等多個投影矩陣；且部分實現僅作用於其中部分矩陣）= 約 13 萬引數/目標矩陣，遠小於原始模型的數億至數十億引數。使用 Adam 最佳化器，以 fp32 儲存時，實際微調僅訓練極少量部分，整體開銷極低。
Prefix-Tuning / Prompt-Tuning：在輸入序列前新增可訓練的連續向量（軟提示），僅訓練這些向量。
Adapter：在 Transformer 層間插入小型的瓶頸結構（降維→啟用→升維）。

PEFT 顯著降低了微調的算力和儲存需求，並有效避免了災難性遺忘（Catastrophic Forgetting），使得大型模型可被快速適配到垂直領域，是將大型模型能力產業化的關鍵手段之一。

關鍵引數

核心衡量指標

指標名稱	定義	單位/表述	典型應用場景
總引數量	模型完整規模	M（百萬）、B（十億）、T（萬億）	對比模型規模量級
啟用引數量	單次前向實際計算的引數	同上	評估推論延遲與視訊記憶體
引數效率	單位引數量產生的效能	下游任務得分/引數規模	架構設計評估
計算效率	單位 FLOP 的效能提升	同上	訓練成本評估
訓練視訊記憶體係數	訓練總視訊記憶體 ÷ 引數儲存	倍數（如 14×）	硬體選型
壓縮比	原始精度儲存 ÷ 壓縮後儲存	倍數（如 2×, 4×）	推論部署

各代際模型引數量參照（定性量級，基於公開資料）

2012 AlexNet：約 60M（CNN，5 個卷積層 + 3 個全連線層，NIPS 2012）
2018 BERT-Large：約 340M（Transformer 編碼器，Google，24 層，d_model=1024）
2020 GPT-3：約 175B（稠密 Transformer 解碼器，OpenAI，96 層，d_model=12288）
2022 Chinchilla：約 70B（稠密 Transformer，DeepMind，2022 年 3 月，強調“計算最優”）
2023 Llama 2 70B：約 70B（稠密 Transformer，Meta，2023 年 7 月）
2023 GPT-4：引數量未公開揭露（OpenAI，2023 年 3 月，業內推測為 MoE 架構，總引數量約 1.8T，啟用約 280B，此資料未獲官方確認，出處系網路社群推測）
2023 Mixtral 8×7B：總引數量 46.7B，啟用 12.9B（MoE，Mistral AI，2023 年 12 月）
2024 DeepSeek-V2：總引數量 236B，啟用 21B（MoE，DeepSeek，2024 年 5 月技術報告）
2024 Llama 3.1 405B：約 405B（稠密 Transformer，Meta，2024 年 7 月）

上述資料表明，引數量在 2018-2022 年經歷了爆發式增長，年均增長約 10 倍。2023 年後，MoE 架構普及使得總引數量與啟用引數量出現顯著分化，成為行業關注的焦點。

技術路線

路線一：極致稠密規模化（Dense Scaling）

持續增加 Transformer 層數 L、隱藏維度 d_model、前饋層中間維度 d_ff，建置同構的稠密模型。代表：GPT-3 (175B)、PaLM (540B)（Google，2022）、Llama 3.1 (405B)。

優勢：架構簡單，訓練無需複雜的路由和負載均衡機制；前向傳播行為完全可預測，延遲確定。
劣勢：所有引數均在每次前向中啟用，計算量與引數量呈線性增長；訓練成本極高。以 540B 的 PaLM 為例，其訓練使用了 6144 塊 TPU v4（Google 揭露，2022），單次訓練成本估算高達數千萬美元（基於雲端服務公開定價的業內推估）。

路線二：稀疏 MoE 規模化（Sparse MoE Scaling）

將部分 FFN 層用 MoE 層替換，總引數量指數級擴張，啟用引數維持在相對低位。代表技術：GShard（Google，2020）、Switch Transformer（Google，2021，首次實現萬億引數）、Mixtral 系列（Mistral AI）、DeepSeek-V2/V3（DeepSeek）。

優勢：同樣推論預算下模型容量更大，同等效能下推論成本更低。DeepSeek-V2 宣稱其訓練成本僅約為同性能稠密模型的 1/5（DeepSeek-V2 技術報告，2024 年 5 月）。
劣勢：路由訓練引入額外複雜度（需處理專家負載不均、專家坍塌等問題）；推論時需載入多個專家到視訊記憶體（若全部載入則視訊記憶體需求仍大，可採用專家解除安裝等技術）；通訊模式複雜（all-to-all 操作）。公開資料顯示，MoE 模型在訓練穩定性、超引數選擇方面尚缺乏如稠密模型般成熟的工程經驗積累。

路線三：計算最優邊界（Compute-Optimal）

DeepMind 於 2022 年 3 月釋出的 Chinchilla 論文（Hoffmann et al.）提出，在給定計算預算下，引數量與訓練資料量應同等比例縮放，而非像先前那樣偏向增加引數量。Chinchilla 70B 模型在 1.4T token 上訓練，效能匹敵甚至超越引數量為其 4 倍的 Gopher (280B)。

影響：這一發現促使行業重新審視“引數堆砌”策略，部分團隊轉向“小模型+大數據”路線。Meta 的 Llama 2（2023 年 7 月）和 Llama 3（2024）系列均在相對適中的引數規模下（7B-70B / 8B-405B）使用遠超同代模型的訓練資料量（Llama 2 70B 在 2T token 上訓練），可視為該理念的產業實踐。

路線四：引數高效適配（PEFT-Driven Adaptation）

不追求基礎模型引數量的增長，而是聚焦於如何將已有的超大型模型以最低成本適配到下游任務。LoRA、QLoRA（Dettmers et al.，2023，4-bit 量化 + LoRA）等方法在開源社群廣泛普及，使得單張消費級 GPU（如 RTX 3090/4090，24GB 視訊記憶體）即可微調 65B 級別模型的部分介面卡。

影響：這一路線顯著降低了大型模型的使用門檻，推動了“模型基座 + 輕量介面卡”的生態模式，各垂直領域的介面卡可快速訓練和分發，而不需每次全量微調。

路線對比矩陣

維度	稠密規模化	MoE 稀疏化	計算最優	PEFT
總引數量增長趨勢	快速增長	快速增長（甚至更快）	審慎增長	極低增長
啟用引數量	= 總引數量	≪ 總引數量	= 總引數量	基座全部啟用
推論成本走勢	線性增長	亞線性增長	線性增長	接近基座，微增
訓練複雜度	中	高	中	低
生態成熟度	高	中-高（快速發展）	高	高

注：上述對比基於公開的模型架構理念與技術報告定性分析，具體實現因廠商而異。

上游

算力硬體：引數量增長的核心約束

大規模引數模型的訓練和推論高度依賴高效能算力硬體，其關鍵瓶頸包括：

GPU/加速器：NVIDIA H100（2022 年釋出，HBM3，視訊記憶體 80GB）是當前千億引數訓練的主力。單卡 80GB 的視訊記憶體結合 bf16 引數儲存，僅能容納 40B 引數的裸模型（40B×2=80GB），這意味著數百億引數模型必須依賴張量並行（Tensor Parallelism）和流水線並行（Pipeline Parallelism）等多卡策略。NVIDIA 於 2024 年下半年推出的 B200 採用更大容量和頻寬的 HBM3e，一定程度上緩解了視訊記憶體瓶頸，具體產能和交付資料請以 NVIDIA 官方財報為準（FY2025 Q4 等）。公開資料未見 B200 對千億引數模型訓練效率提升的獨立第三方實測資料。
HBM（高頻寬記憶體）：根據 SK 海力士官網（2023-2024 年）及行業分析機構 TrendForce（2024 年報告）資料，HBM 在 AI 加速器 BOM 成本中佔比持續提升。HBM3e 的頻寬可達 1TB/s 級別（SK 海力士產品規格頁），是傳統 GDDR 的數倍。三星、SK 海力士、美光均已宣佈擴產 HBM，2024 年行業供給偏緊。TrendForce 2024 年 Q3 報告指出，2024 年全球 HBM 市場規模預計年增率增長約 260%，主要受 AI 訓練和推論需求驅動。具體產能和價格資料請以廠商最新財報及 TrendForce 更新為準。
網路互聯：千卡以上叢集訓練對互聯頻寬要求極高。InfiniBand（NVIDIA Quantum 系列）和 RoCE（乙太網路 RDMA）是兩大主流方案。引數同步、梯度聚合的通訊量隨並行規模遞增，若互聯頻寬不足，GPU 將嚴重閒置等待（成為“停等”），使大規模訓練的算力利用率大打折扣。
推論專用晶片：大引數量模型的低延遲、低成本推論需求催生了專門的推論晶片和 IP。例如 Groq 的 LPU（Language Processing Unit）採用 SRAM 存內計算架構，在 2024 年公開展示了接近瞬時的 LLM 推論延遲，但 SRAM 容量限制使得其更適用於引數量在一定規模以下的推論場景。國內外多家初創公司（如 d-Matrix、Graphcore、燧原科技、寒武紀等）均在版面配置推論側晶片，具體效能引數請以各公司官方產品規格為準。

資料：引數量膨脹的必要條件

縮放定律指出，最優訓練的 token 數應與模型引數量大致年增率例增長。這意味著，訓練一個 100B 引數的模型（在計算最優設定下），可能需要數萬億 token 的高質量訓練資料。資料的可獲取性、清洗成本、版權合規正成為引數量增長的隱形天花板。公開資料顯示，截至 2024 年底，主流開源訓練資料集的規模在數萬億 token 量級（如 CommonCrawl 子集、The Pile 等），而模型引數量已觸達數百億至數千億，資料的增速正成為制約因素之一。

架構與分散式訓練工具

PyTorch（Meta）、JAX（Google）是兩大主流訓練架構。分散式訓練需要解決三大並行維度：

資料並行（Data Parallelism, DP）
張量並行（Tensor Parallelism, TP）
流水線並行（Pipeline Parallelism, PP）

此外，ZeRO（DeepSpeed，微軟）通過將最佳化器狀態、梯度和引數分片到各 GPU，極大降低單卡視訊記憶體需求。Megatron-LM（NVIDIA）則是 TP 和 PP 的經典實現。2023-2024 年，FSDP（PyTorch）得到廣泛採用，進一步降低了分散式訓練架構的使用門檻。以上架構均為開源，具體效能曲線請以最新版本基準測試為準。

下游

基礎模型服務（Model-as-a-Service, MaaS）

千億級引數模型以 API 形式提供推論服務，是當前主流的商業分發模式。代表案例：

OpenAI GPT-4 / GPT-4o 系列通過 Azure 和 OpenAI API 提供服務（2023-2024）
Anthropic Claude 3 / 3.5 系列通過 AWS Bedrock 和自有 API 提供服務（2024）
國內：阿里百鍊平台（通義系列）、百度千帆（文心繫列）、位元組火山引擎（豆包系列）、智譜開放平台（GLM 系列）等，均面向 B 端和 C 端提供呼叫服務

推論成本是 MaaS 商業模式的核心變數之一。MoE 架構、量化、推測解碼（Speculative Decoding）等技術均可降低單位 Token 成本。以 DeepSeek-V2 為例，其 API 價格在 2024 年 5 月釋出時定價為每百萬 token 輸入 1 元、輸出 2 元（人民幣），顯著低於同期部分競品，引發國內大型模型 API 價格戰。公開資料（各廠商官網定價頁）顯示，國內大型模型 API 價格在 2024 年 H1 經歷顯著下行後趨於穩定。

端側部署與模型壓縮

大引數量模型的端側（手機、PC、智慧座艙等）部署面臨嚴苛的儲存和算力限制。技術路徑包括：

量化：將引數精度降至 int4，使 7B 模型僅需約 3.5GB 視訊記憶體/記憶體即可載入，可在高階手機和邊緣裝置上執行
蒸餾：用大型模型（Teacher）指導小模型（Student）訓練，保留推論能力的同時大幅壓縮引數量
剪枝：移除冗餘的引數或注意力頭，降低實際計算量

高通、Apple、聯發科等晶片廠商在 2024 年均已推出或預告支援端側大型模型推論的晶片（如高通第三代驍龍 8 內建的 AI Engine，Apple A17 Pro 的 16 核 Neural Engine），但由於未檢索到廠商官方公佈的完整基準測試對比，此處不引具體效能資料。

行業應用與垂直適配

大引數量模型在以下垂直領域率先落地（基於公開合作公告和案例分享，未窮舉）：

金融：智慧投研（報告摘要）、風控文本分析、合規知識問答。採用 PEFT 方式適配基座模型，以保護資料隱私。
醫療：醫學文獻檢索、輔助診斷（影像+文本多模態）、病歷結構化。強監管領域對模型可解釋性要求高，啟用引數量的分析有助於合規。
政務/法律：法規檢索與解讀、審判輔助、公文寫作輔助。對準確性要求極高，RAG（檢索增強生成）+ 大引數模型是主流方案。
教育：個性化學習內容生成、作文批改、程式設計輔導（如 GitHub Copilot、國內的通義靈碼等）。

受益公司

以下列出與引數量相關的產業鏈主要玩家，依據公開財報、招股書、行業研究報告劃分為基礎設施層、模型層、工具與服務層、應用層，僅供產業格局梳理，不構成任何投資建議。

基礎設施層（算力與雲端）

NVIDIA（NVDA）：據 FY2025 Q3（2024 年 11 月）財報，資料中心營收達 $30.8B（季度），年增率增長 112%。其 H100/H200/B200 產品週期直接受益於大引數模型訓練和推論的視訊記憶體與算力需求增長。
AMD（AMD）：MI300X 系列在 2024 年開始出貨，據 AMD Q3 2024 財報（2024 年 10 月），資料中心業務營收 $3.5B，年增率增長 122%。公開資料可見 Meta、微軟等為其公開客戶。
雲端廠商：AWS（Amazon，2024 年 Q3 AWS 營收 $27.5B，YoY+19%，財報 2024 年 10 月）、Microsoft Azure（微軟 FY2025 Q1 智慧雲端營收 $24.1B，YoY+20%，2024 年 10 月）、Google Cloud（Alphabet Q3 2024 營收 $11.4B，YoY+35%，2024 年 10 月），均為大型模型訓練和推論的重要算力供給方。國內雲端廠商阿里雲端（阿里集團，據 2024 年 Q3 財報 AI 相關營收連續多個季度三位數年增率增長，官方表述）、華為雲端、騰訊雲端也積極參與。
HBM 供應商：SK 海力士（HBM 市場份額領先，據 TrendForce 2024 年資料）、三星電子、美光。2024 年 HBM 供不應求狀態持續，具體出貨量請以各公司財報為準。

模型層（基礎模型廠商）

OpenAI（非上市）：據公開報道（如 The Information 2024 年報道），其年化營收在 2024 年超過 $3.5B（未獲官方財務確認），主要來自 ChatGPT 訂閱和 API。
Anthropic（非上市）：Claude 系列的主要廠商，2024 年獲得包括亞馬遜在內的多輪大額融資（公開報道合計超 $7B），估值據報超 $18B。
Meta（META）：Llama 開源系列的重要貢獻者。據其 Q3 2024 財報，2024 全年資本支出展望上調至 $38-40B，其中 AI 基礎設施為一大重點。
Google DeepMind（Alphabet）：Gemini 系列的開發方。
國內頭部：智譜 AI（2024 年 12 月完成 B+輪融資，據公開報道總融資額已揭露超 25 億人民幣）、月之暗面（Moonshot AI，2024 年完成多輪累計超 10 億美元融資，公開報道）、Minimax、百川智慧、零一萬物等，均處於融資或商業化早期階段。百度（文心）、阿里（通義）、位元組（豆包）、騰訊（混元）等則作為平台型公司在模型層版面配置。

工具與服務層

Hugging Face（非上市）：開源模型庫和工具鏈，2024 年據報完成新一輪融資（具體金額公開資料未見精確數字），月活開發者持續增長。
Databricks：於 2023 年收購 MosaicML，將大型模型訓練工具整合至其資料平台中。據 2024 年公開資訊，其年化營收超 $2.6B。
向量資料庫與資料服務：Pinecone、Weaviate、Chroma 等服務於 RAG 模式，間接受益於大引數量模型對精確外部知識檢索的需求。

應用層（受惠於大型模型能力提升，難量化增量收益）

Microsoft：通過 Copilot 系列將大型模型整合至 Office、GitHub、Azure，據其 FY2025 Q1 財報，AI 相關轉型進展為其商業雲端的快速增長動能之一。
Adobe、Salesforce、ServiceNow 等企業級軟體公司已釋出 AI 功能。
國內金山辦公、用友網路等亦在整合 AI 能力，具體營收貢獻尚在早期，未在公開財報中單獨拆分。
具身智慧、AI PC、AI 手機等新終端領域受益公司尚不明確，商業化時間表待觀察。

市場規模

本節基於第三方機構釋出的市場研究資料，彙總與大引數量 AI 模型產業鏈相關的市場規模估計。請注意，不同機構的口徑差異較大，需結合定義和邊界閱讀。

全球 AI 訓練與推論算力市場

AI 伺服器：據 TrendForce 2024 年 7 月報告，2024 年全球 AI 伺服器出貨量預計年增率增長約 40%，其中訓練伺服器增速趨緩，推論伺服器增速更快。2024 年 AI 伺服器佔整體伺服器市場比例預計超 12%（基於出貨量）。
資料中心加速器：據 Omdia（2024 年 8 月），2024 年全球資料中心用 AI 加速器晶片市場規模約 $110B-$120B（推測值區間，以各晶片廠實際出貨營收加總為基準）。NVIDIA 佔據主導份額（據 Mercury Research 等，約 80-90%，詳細份額資料需訂閱）。
AI 雲端服務（AI IaaS + AI PaaS）：據 IDC 2024 年半年度全球 AI 支出指南預測，2024 年全球 AI 雲端服務市場（含訓練和推論的公有雲端支出）約 $60B-$70B，2027 年預測可達約 $150B。

大型模型 API 與應用市場

生成式 AI 市場整體：據 Bloomberg Intelligence 2024 年報告，全球生成式 AI 市場（含基礎設施、模型與應用）在 2024 年規模約 $67B，預計 2032 年增長至 $1.3T，CAGR 約 42%。公開資料未提供細分至引數量維度的拆解。
國內大型模型市場：據艾瑞諮詢《2024 年中國 AI 大型模型產業圖譜》及賽迪顧問相關報告，2024 年中國大型模型（含模型建置、MaaS、應用）市場規模估計在 200-300 億人民幣區間，預計 2026 年達 500 億人民幣以上（預測有不確定性）。具體資料請以最新報告為準。

模型壓縮與最佳化工具市場

全球模型壓縮（量化、剪枝、蒸餾）及推論最佳化工具的市場規模缺乏獨立的權威統計。據 ABI Research 2024 年分析，可納入邊緣 AI 軟體和工具市場的估算，該市場 2024 年約 $5B，2028 年預測約 $14B（定義寬泛，不僅限於大型模型壓縮，含傳統模型最佳化工具）。

宣告：上述數字引自公開可用的第三方機構報告摘要，未獲原始全文驗證。市場預測存在較大不確定性，受宏觀經濟、技術進步、政策等多重因素影響，不構成對未來表現的保證。

玩家對比

全球主要基礎模型引數量與架構概覽（截至 2024 年底）

模型	開發方	總引數量	啟用引數量	架構	訓練資料量	公佈時間
GPT-4	OpenAI	未揭露（業內推測約 1.8T）	未揭露（業內推測約 280B）	MoE（業內推測）	未揭露	2023.03
GPT-4o	OpenAI	未揭露	未揭露	未揭露	未揭露	2024.05
Gemini Ultra	Google DeepMind	未揭露	未揭露	未揭露（業內推測含 MoE 元素）	未揭露	2024.02
Claude 3.5 Sonnet	Anthropic	未揭露	未揭露	未揭露	未揭露	2024.06
Llama 3.1 405B	Meta	405B	405B	稠密 Transformer	15T+ tokens	2024.07
Mixtral 8×22B	Mistral AI	141B	39B	MoE	未公開	2024.04
DeepSeek-V3	DeepSeek	671B	37B（據技術報告，每 token 啟用引數）	MoE（256 專家）	14.8T tokens	2024.12
Qwen 2.5 72B	阿里通義	72B	72B	稠密 Transformer	18T tokens（阿里官方揭露）	2024.09
文心一言 4.0	百度	未揭露	未揭露	未揭露	未揭露	2023.10
GLM-4	智譜 AI	未揭露（開源版 9B，閉源版未揭露）	未揭露	未揭露	未揭露	2024.01
豆包大型模型	字節跳動	未揭露	未揭露	未揭露	未揭露	2024.05

對比維度分析

透明度：Meta、DeepSeek、阿里、Mistral AI 等在 2024 年揭露了較為具體的引數量、資料和架構資訊，體現技術自信和開源策略。OpenAI、Google DeepMind、Anthropic 等出於競爭考量選擇了更高的保密級別。
活化比（啟用/總引數量）：在已知具體數字的 MoE 模型中，DeepSeek-V3 展現出極低的活化比（約 5.5%），Mixtral 8×22B 約為 27.7%，體現了效率優先的設計取向。
訓練資料規模：Meta Llama 3.1 405B 使用 15T+ tokens，阿里 Qwen 2.5 72B 使用 18T tokens，DeepSeek-V3 使用 14.8T tokens，均體現了“計算最優”思想對資料量的側重。
開源/閉源分化：Meta、Mistral AI、DeepSeek、阿里（部分規模）採用開源策略，OpenAI、Anthropic、Google、百度（主力模型）採用閉源或有限開放策略。開源模型引數量在 2024 年達到 405B（Llama 3.1），2025 年或可進一步追近閉源頭部水平（此句系趨勢描述，不作為預測）。

注：上表中“未揭露”多涉及商業機密。業內推測資料來自網路社群和第三方分析，未經官方確認，僅供定性參考。

風險

技術風險

縮放回報遞減：Scaling Laws 暗示效能增長呈冪律而非線性，進一步增加引數量所需的算力和資料成本指數級攀升，而效能增量遞減。當邊際成本遠超邊際收益時，單純追求引數量的商業模式將面臨嚴峻挑戰。公開資料未見明確的最佳規模理論上限。
訓練不穩定性：超大引數模型的訓練過程中，損失尖峰（Loss Spike）、梯度爆炸/消失、專家坍塌（MoE 特有問題）等穩定性風險加劇。一次訓練失敗的經濟損失可達千萬美元級別，構成顯著的研發風險。
推論延遲與吞吐量瓶頸：即使經過 MoE 和量化等最佳化，大引數量模型的首 token 延遲和生成吞吐量仍遜於同性能的小模型，在即時互動場景中的使用者體驗可能不達預期。Transformer 架構的進一步演進（如 Mamba、RWKV 等狀態空間模型，Linear Attention 等線性注意力機制）可能從根本上改變引數效率與推論速度的方程式，從而降低既有稠密或 MoE Transformer 路線的競爭優勢。

市場與財務風險

開源衝擊閉源：2024 年 Llama 3 系列的迭代速度和 DeepSeek-V3 的效能表現，顯著縮小了開源模型與閉源模型的效能差距。開源模型可通過社群貢獻、PEFT 介面卡等方式快速覆蓋長尾場景，壓縮閉源 API 的溢價空間。此舉可能對依賴 API 訂閱營收的閉源模型廠商的營收預期構成壓力，但壓力的量化和時間點存在高度不確定性。
資本支出回報不確定性：全球 AI 基礎設施資本支出在 2024-2025 年達數千億美元量級（基於主要雲端廠商及 Meta 等資本支出展望加總估算），而下游應用的付費意願和付費規模尚未完全匹配。若 2-3 年內 C 端和 B 端的貨幣化速度慢於預期，可能引發資本收緊，對依賴融資的模型層初創公司構成生存壓力。
API 定價惡性競爭：2024 年 H1 國內大型模型 API 價格的急劇下降已拉開產業競爭序幕。以極低價格甚至免費策略換取市場份額的做法，可能在短期內壓縮全行業獲利空間，使中小廠商難以建立可持續的商業模式。

監管與地緣政治風險

算力出口管制：美國對華先進 GPU 出口管制（2022 年 10 月、2023 年 10 月、2024 年多次規則更新）限制了中國部分機構獲取最高效能訓練晶片的渠道，可能制約國內千億以上稠密引數模型的訓練效率和成本競爭力。具體影響程度難以量化。
資料隱私與版權：大規模訓練資料的採集、清洗和使用涉及越來越嚴格的隱私法規（如 GDPR、中國《個人資訊保護法》）和版權爭議（如紐約時報訴 OpenAI，2024 年正在審理）。未來立法或判例可能增加資料獲取成本或限制使用方式，間接抬高參數規模擴張的門檻。
能源與環境審批：超大規模智算中心（GW 級別）的電力消耗和碳排放受到社會關注，部分地區已收緊審批政策（如部分國家/地區對新建資料中心的能源效率和選址有更嚴要求，公開新聞報道）。環境合規成本可能成為大引數量訓練規模的隱性約束。

誤讀糾偏

誤讀 1：“引數量越大，模型效果一定越好。” 糾偏：引數量只是模型容量的一維。資料質量和多樣性、訓練策略（如課程學習）、推論時的計算預算（如 Chain-of-Thought 推論深度）同樣關鍵。過度引數化但資料不足會導致過擬合或欠訓練（Undertraining）。Hoffmann et al. (2022) 已證實，給定固定計算預算，存在最優的引數量-資料配比，偏離該配比的“超大引數模型”效果反而不及計算最優的較小模型（如 Chinchilla 70B vs Gopher 280B）。

誤讀 2：“MoE 模型的啟用引數量等於總引數量除以專家數。” 糾偏：MoE 模型通常包含共享的注意力層、路由層和非專家的前饋層；只有被替換的那部分前饋層採用“專家”形式。啟用引數量 = 所有共享層引數（注意力、層歸一化、非 MoE 的 FFN 等） + 被選中的少數幾個專家的引數。若專家網路寬度與原始 FFN 相仿，啟用引數量大致等於共享基座加 1~2 個專家的引數，這一數值遠小於總引數量，絕不是簡單的除法關係。Mixtral 8×7B 的活化比為 12.9/46.7≈27.6%，DeepSeek-V3 的活化比為 37/671≈5.5%，充分說明了這一點。

誤讀 3：“引數量直接等於模型檔案大小（位元組數）。” 糾偏：模型檔案大小 = 引數量 × 每個引數的表示位元組數 + 配置檔案等元資訊。若使用 bfloat16 儲存，即為引數量 × 2 位元組；使用 int8 量化，則為引數量 × 1 位元組；使用 int4 量化，約為引數量 × 0.5 位元組。因此，同樣引數量下檔案大小可差 2-4 倍或更多。此外，多種壓縮技術（如 GGUF、AWQ、EXL2 格式）可進一步壓縮，使得“引數量→檔案大小”的換算不是定值。

誤讀 4：“用 GPU 視訊記憶體除以引數量×2，就知道能否跑起來。” 糾偏：推論時的視訊記憶體佔用除引數外，還包括 KV Cache（隨序列長度和批次大小線性增長）、中間啟用緩衝區、架構開銷等。實際所需視訊記憶體可能 1.5-3 倍於裸引數儲存。對於長上下文場景，KV Cache 可能佔用與引數相當甚至更大的視訊記憶體。精算視訊記憶體佔用需考慮上下文長度、batch size、並行策略等，不可僅憑引數量簡單除法。

誤讀 5：“訓練好的大型模型引數是固定不變的，可以直接用於所有任務。” 糾偏：預訓練引數捕獲的是通用知識和能力，但在特定垂直領域、時效性強的資訊、需要特定格式輸出的任務上，往往需要微調（全量或 PEFT）、RAG 或提示工程等進一步適配手段。引數是能力的基礎而非全部，部署中的持續價值捕獲取決於圍繞引數的完整流水線工程。