密集模型

3秒看懂

密集模型（Dense Model）是一次推論啟用全部引數的深度學習架構。每次前向傳播，模型的所有權重、所有層、所有神經元都參與計算，不存在依據輸入動態跳過子網路的稀疏路由。與之相對的稀疏模型（如混合專家模型 MoE）只啟用部分引數。密集模型是當前大語言模型的主力形態之一，其計算量、延遲和視訊記憶體佔用完全可預測，但推論成本隨總引數量線性增長。

3分鐘產業解釋

密集模型代表一條“算力可預測性”極高的技術路線。無論輸入內容如何變化，模型執行的是完全相同的計算圖，全部能力在每次呼叫中都會被完整釋放。這種確定性使其在金融、醫療、法律等高風險場景中極具吸引力，也便於提供服務等級協議（SLA）保障。代價是單次推論的硬體開銷與模型總引數量成正比，無法像稀疏模型那樣通過“增大總引數但只啟用一小部分”來攤薄邊際成本。

產業實踐中，OpenAI 的 GPT-3、Meta 的 Llama 2 系列、Google 的 BERT、Mistral 的部分版本均採用密集架構。儘管 GPT-4 等前沿模型已被廣泛認為轉向稀疏路線，但密集模型在開源社群、確定性要求高的企業部署中依然佔據核心地位。其對算力的渴求直接拉動高頻寬視訊記憶體（HBM）、高速互聯（NVLink、InfiniBand）和先進封裝（CoWoS）的需求，使整條算力供應鏈深度受益。

技術原理

密集模型的核心約束是：前向計算圖在推論時不依賴任何與輸入相關的條件分支。給定引數集 θ，對於任意輸入 x，參與運算的引數集合恆等於 θ，不存在門控網路決定某部分權重被旁路。

以標準 Transformer 解碼器為例，其密集變體的計算流程如下：

輸入 [b, s, d]
  │
  ├─→ LayerNorm → MHA (所有注意力頭) → 殘差
  │
  └─→ LayerNorm → FFN (所有隱層神經元) → 殘差
  │
  …重複 L 層…
  │
  └─→ LayerNorm → 輸出投影

在整個流程中，每一層的多頭自注意力和前饋網路的所有引數均被全量使用。注意力矩陣的計算不會因輸入不同而跳過任何頭，FFN 的隱層神經元沒有稀疏啟用。這帶來兩大工程紅利：

• 確定性：輸出僅由引數和輸入決定，沒有動態路由引入的延遲抖動與負載不均衡，便於做嚴苛的延遲最佳化。
• 並行友好：張量並行、流水線並行、資料並行的通訊模式為高度規律的 AllReduce/ReduceScatter，無需處理稀疏路由特有的 All-to-All 通訊和專家負載均衡難題，可沿用 Megatron-LM 等成熟分散式架構。

隨著模型引數規模向數千億乃至萬億邁進，密集模型“全啟用”的特性使單次推論所需浮點運算（FLOPs）和視訊記憶體頻寬需求線性攀升，對 HBM 容量、NVLink 頻寬及片間互聯提出極限挑戰。這也是近年來 MoE 等稀疏架構重新興起的重要推力。

關鍵引數

密集模型的核心引數決定了其訓練與推論的硬體需求、成本和效能邊界。以下為關鍵指標及其產業含義。

• 總引數量（Total Parameters）：直接決定模型容量和裸視訊記憶體需求。以 FP16 精度為例，每 10 億引數約需 2 GB 視訊記憶體僅用於儲存權重。公開資料顯示，Llama 2 70B 密集模型僅權重即需約 140 GB 視訊記憶體，單卡無法容納，必須採用多卡張量並行。
• 推論浮點運算量（FLOPs per token）：密集模型下該指標固定為 C_fwd ≈ 2 × 總引數量 ×（與序列長度相關因子）。例如，一個 70B 密集模型，生成一個 token 的前向計算量通常超過 140 TFLOPs。該指標直接對映為算力成本與能耗。
• 視訊記憶體頻寬利用率（MBU）：密集模型計算矩陣乘法時算術強度（FLOP/Byte）較高，但推論瓶頸仍主要在視訊記憶體頻寬。最佳化重點在於運算元融合、KV Cache 壓縮及量化（FP8/INT4），以減少從 HBM 搬運的位元組數。例如，使用 FP8 可將權重的視訊記憶體佔用和頻寬需求降低近一半。
• 推論延遲（Latency, ms/token）：密集模型因無動態路由，延遲完全可預測。在特定硬體（如 8×H100 伺服器）上，Llama 2 70B 的推論延遲可穩定在數十毫秒/ token 量級（公開基準測試），適合即時互動。
• 訓練吞吐（Tokens/sec）：受張量切分策略、流水線氣泡和網路通訊效率影響。密集模型通訊模式規整，大叢集訓練時模型浮點運算利用率（MFU）可達 50%–60%（據 Meta Llama 2 論文及公開技術報告），高於早期部分 MoE 模型。

注：上述具體數字引自 Meta 的 Llama 2 技術報告、輝達 TensorRT-LLM 文件及公開基準測試結果，年份為 2023–2024 年。

技術路線

密集模型與稀疏模型的路線之爭，本質上是“全量確定性”與“規模彈性”之間的取捨。下表從多個維度進行定性對比。

維度	密集模型	稀疏模型（以 MoE 為例）
總引數量	數百億～數千億	可輕鬆擴充套件至萬億級，因僅部分啟用
每次推論啟用引數	等於總引數	遠小於總引數（如總引數擴大 8 倍，啟用僅擴大 1.2 倍）
推論浮點運算量	與總引數固定比例	同樣啟用引數下，因路由和通訊開銷，實際延遲可能更高
訓練通訊模式	AllReduce/ReduceScatter 為主	額外引入 All-to-All，對互聯頻寬要求極高
負載均衡	天然均衡	需要輔助損失或容量因子，否則專家易“飢餓”或過載
推論延遲穩定性	恆定，可保障 SLA	存在跨步差異，部分輸入路徑延遲更高
視訊記憶體佔用	需承載全量引數	每個裝置僅存部分專家，但全叢集總視訊記憶體需求可能更高
訓練穩定性	經驗上更易收斂，無需負載均衡損失	需精心調參，可能出現 token 向少數專家聚集
典型模型	GPT-3, Llama 2, BERT	Switch Transformer, Mixtral 8×7B, GPT-4（據公開分析）

整體而言，密集模型在質量敏感、安全關鍵、大批次離線推論等場景保持優勢；稀疏模型則在成本敏感、超大規模、高吞吐線上服務中嶄露頭角。業界亦在探索半密集架構（部分層密集、部分層稀疏），以兼顧兩者之長。

上游

密集模型的訓練與推論對上游算力基礎設施依賴極深，主要涵蓋以下環節。

• 高頻寬視訊記憶體 GPU/NPU：輝達 H100、A100（80GB）等資料中心 GPU 是密集模型的核心計算平台。公開財報顯示，輝達資料中心業務 2025 財年第四季度（截至 2024 年 1 月 28 日）營收達 184 億美元，年增率增長 409%，主要驅動力為大語言模型訓練與推論需求。
• 高速互聯：節點內依靠 NVLink、NVSwitch 提供每 GPU 900 GB/s 級頻寬（H100）；節點間依賴 InfiniBand（如 NDR 400Gb/s）或 RoCE。密集模型的張量並行需要極大通訊頻寬，缺失將嚴重製約效能。
• 先進封裝與 HBM：HBM3/HBM3e 是 GPU 視訊記憶體的核心。SK 海力士、三星、美光為主要供應商。據台積電 2024 年法說會及公開供應鏈報道，CoWoS 先進封裝產能長期供不應求，2024 年產能接近加倍但缺口猶存，直接限制高階 GPU 出貨。
• 分散式訓練架構：Megatron-LM、DeepSpeed 等對密集模型的張量並行、流水線並行和 ZeRO 最佳化提供成熟支援，是模型規模擴充套件的軟體基石。
• 能源與散熱：單臺 8×H100 伺服器功耗逾 10 kW，密集模型訓練叢集能耗巨大，對資料中心供電、散熱提出更高要求。

下游

密集模型的下游應用覆蓋自然語言處理的核心場景，並向多模態與具身智慧擴充套件。

• 對話助手與程式碼生成：ChatGPT 類應用雖已採用稀疏/半稀疏架構，但大量開源部署仍選用密集模型（如 Llama 2 系列），因其部署簡化、行為可控。
• 垂直行業確定性應用：金融風控報告生成、醫療輔助診斷、法律文書撰寫等場景要求可復現、可審計的輸出，密集模型是首選。例如，部分合規科技企業明確採用密集架構以通過模型審計。
• 具身智慧與自動駕駛感知：大視覺 Transformer 密集模組用於即時物體檢測、軌跡預測，對恆定延遲要求高，不允許專家負載波動導致決策延遲。
• 邊緣與端側部署：密集小模型（如 1B–7B 引數）經量化後可在手機、PC 端執行，如高通驍龍平台已支援 Llama 2 7B INT4 推論，密度架構的簡單性利於硬體適配。

受益公司

以下企業因密集模型的廣泛應用而在產業鏈中受益，陳述僅作產業關聯分析，不構成投資建議。

• 輝達：其資料中心 GPU 是密集模型訓練推論的主力平台，推論軟體棧 TensorRT-LLM 對密集模型最佳化極深，是硬體銷售的強力催化劑。
• AMD、英特爾：AMD MI300X 系列及英特爾 Gaudi 3 加速器均瞄準大型模型推論市場，密集模型的全啟用特性使其易被新硬體適配，有望獲取份額。
• HBM 供應商：SK 海力士、三星電子、美光科技，因密集模型需要高頻寬視訊記憶體，HBM 需求長期旺盛。
• 雲端服務商：微軟 Azure、亞馬遜 AWS、Google雲端等提供密集模型託管推論 API（如 Llama 2 的即服務），營收與 token 消費量高度相關。
• AI 伺服器 ODM：超微電腦、緯創、英業達等直接受益於 AI 伺服器出貨量增長。
• 開源生態公司：Hugging Face 等平台承載大量密集模型下載與微調專案，使用者活躍度持續攀升。

注：以上受益分析基於公開產業鏈資訊（如公司財報、產品釋出），不涉及任何具體股價或估值評判。

市場規模

密集模型本身不構成獨立市場統計口徑，其需求體現在大語言模型及生成式 AI 市場當中。以下引用第三方研究機構資料以描繪整體規模，並分析密集模型所佔份額。

• 據 Grand View Research 2024 年報告，全球大語言模型市場規模 2023 年約為 15.9 億美元，預計 2024–2030 年複合年增長率（CAGR）達 33.2%。
• MarketsandMarkets 2024 年報告預測，全球生成式 AI 整體市場將從 2024 年的 209 億美元增長至 2030 年的 967 億美元（CAGR 29.1%）。
• 公開資料未見單列“密集模型市場規模”的權威統計。基於當前開源與閉源模型釋出格局，業內有估算認為密集模型在 2024 年仍貢獻了超過 50% 的部署例項（以 token 處理量計），但該數字為產業定性推測，缺乏嚴格資料驗證。

在基礎設施層面，GPU 和 HBM 的出貨量可作為密集模型需求的間接對映。Omdia 2024 年報告指出，2024 年全球資料中心 GPU 出貨量預計超過 400 萬顆，其中絕大多數被用於大型模型工作負載，密集模型的訓練和推論是重要需求側動力。

玩家對比

當前密集模型領域的主要玩家可分為閉源與開源兩大陣營，其模型架構、引數規模、開放程度和商業模式各異。

• OpenAI：GPT-3（175B 引數）為標誌性密集模型，但 GPT-4 及後續版本據公開分析已採用稀疏混合專家方案，代表從密集向稀疏切換的先鋒。
• Meta：Llama 2 7B/13B/70B 全係為標準密集架構，Llama 3 首批發布的 8B/70B 版本亦延續密集路線，極大促進了開源社群的密集模型應用。
• Mistral：初期 Mistral 7B 為密集模型，Mixtral 8×7B 則轉向稀疏 MoE，體現小型密集與中型稀疏的雙線策略。
• Google：BERT、T5 等早期模型為密集架構，後續釋出 Gemini 系列，官方未揭露是否為純密集，業界推測包含稀疏模組；其內部研究顯示密集與稀疏兩條線並行。
• 阿里、百度：通義千問、文心一言基礎版本據公開技術部落格多采用密集結構，後續迭代逐步融入稀疏元素以降低推論成本。
• 初創公司與開源社群：Together AI、Fireworks 等提供密集模型的高效推論服務，以低延遲和確定性為賣點，爭奪對質量敏感的客戶。

在模型效能方面，密集模型在同啟用引數量下往往能取得更好的基準測試成績（如 MMLU、HumanEval），但在總引數相同時，稀疏模型由於知識容量更大，可能表現更優。這體現了“有效引數量”與“總引數量”之間的權衡。

風險

密集模型的發展與部署面臨多重風險。

1. 算力成本失控風險：隨著模型規模增長，全啟用特性使單次推論成本隨引數線性攀升。若企業無法將高昂的推論成本向終端使用者轉嫁，可能引發商業閉環斷裂。
2. 供應鏈瓶頸：高階 GPU、HBM 和 CoWoS 產能高度集中在少數供應商。地緣政治因素、自然災害或政策限制均可能導致供給中斷，直接衝擊密集模型部署計劃。
3. 技術路徑替代風險：稀疏模型、狀態空間模型（如 Mamba）或新架構若在相同成本下實現顯著更高的質量，密集模型的市場空間將被壓縮。不過，截至 2024 年底，尚無明確證據表明密集路線將完全被替代。
4. 能耗與 ESG 壓力：密集模型訓練和推論的巨量電力消耗引發環境擔憂，若監管趨嚴，可能增加企業合規成本或限制資料中心擴建。
5. 開源模型安全與濫用風險：密集模型結構簡單、易於微調和分發，可能被用於生成虛假資訊或執行惡意程式碼，帶來監管和法律風險。
6. 過度投資與泡沫風險：資本市場對密集模型算力的追捧可能造成超前建設，一旦需求增速放緩，上游企業或面臨產能過剩與價格戰。

誤讀糾偏

誤讀 1：密集模型就是全連線網路
密集指“所有引數均參與計算”，而非特指全連線層。Transformer 的自注意力層並非傳統全連線，但在密集模型中，所有注意力頭、所有層的引數都會被執行，無動態跳過。稀疏模型的專家網路可能是全連線層，但因門控只啟用部分專家，故不屬於密集模型。

誤讀 2：稀疏模型必然優於密集模型，密集模型將被淘汰
稀疏模型在控制推論成本方面有優勢，但其訓練不穩定、延遲波動、All-to-All 通訊開銷在小批次時嚴重等問題仍然存在。密集模型在確定性、易審計性、訓練收斂性上仍具優勢，在安全敏感和質量優先的場景中不可替代。兩者將在不同細分市場長期共存。

誤讀 3：密集模型推論必然比稀疏模型慢
推論速度取決於總計算量和硬體利用率。密集模型通訊模式簡單，多卡張量並行時能夠達到極高的硬體利用率（MFU 可達 50%–60%）。稀疏模型雖有較低的浮點運算量，但負載不均和通訊開銷可能導致實際推論延遲差異不大。同等啟用引數量下，密集模型常因高效並行而實現更快響應。

誤讀 4：密集模型無法擴充套件到萬億引數
技術上，密集萬億引數模型在訓練時需要極大的視訊記憶體和互聯頻寬，目前成本極高，但並非不可能。Google的 PaLM 540B 即為密集模型（Google 2022 年論文）。未來隨著光互聯、存內計算等技術的成熟，密集架構可能突破現有物理限制。

最新事件

• 2024 年 10 月，Meta 釋出 Llama 3.1 系列（來源：Meta 官方部落格）：其 8B 和 70B 版本延續密集架構，405B 版本首次引入稀疏 MoE 模組，顯示 Meta 在密集與稀疏之間靈活版面配置。
• 2024 年 7 月，輝達釋出 Blackwell B200 GPU（來源：輝達 GTC 2024 主題演講）：單晶片配備 192 GB HBM3e 視訊記憶體，NVLink 5 頻寬達 1.8 TB/s，顯著提升密集模型推論容量與速度。該產品被多家大型模型廠商預定，量產時間鎖定 2024 年下半年。
• 2024 年 6 月，台積電宣佈 2025 年 CoWoS 產能再翻倍（來源：台積電 2024 年技術論壇）：先進封裝產能持續擴張以應對 GPU 需求，間接利好密集模型的大規模部署。
• 2024 年 5 月，多家中國廠商釋出密集開源模型（來源：各公司官方公眾號及 Hugging Face）：如零一萬物釋出 Yi-1.5 系列，採用密集架構，在某些中文基準測試中達到先進水平，顯示密集路線在垂直領域仍具競爭力。
• 2023 年 12 月，歐盟 AI 法案達成政治協議（來源：歐洲議會新聞稿）：對高風險 AI 系統的透明度和可追溯性提出更高要求，可能推動需要輸出可復現的場景更多采用密集模型。

追蹤指標

投資者和產業觀察者可關注以下指標以把握密集模型賽道景氣度。

• 前沿密集模型引數量與釋出節奏：重點追蹤 Meta Llama 系列、Mistral 密集版本、國產密集大型模型的引數規模和基準測試成績。
• 輝達資料中心 GPU 營收及出貨量：輝達季度財報中資料中心營收變化直接對映大型模型訓練推論需求。同時可關注 AMD、英特爾相關營收。
• HBM 和 CoWoS 產能與價格：以 SK 海力士、台積電的法說會及行業報道為準，關注 HBM 合約價格走勢和產能擴張計劃。
• 雲端廠商大型模型 API 呼叫量和定價：微軟 Azure、AWS 等的模型推論 API 定價調整及呼叫量增長趨勢反映下游負擔能力和需求彈性。
• 開源密集模型下載量與社群活躍度：Hugging Face 平台模型下載量、派生專案數量可作為市場滲透的溫度計。
• 推論最佳化進展：量化技術（FP8、INT4）、推測解碼、KV Cache 壓縮等技術的突破與落地，直接改善密集模型成本結構。
• 監管政策動向：各司法轄區對 AI 輸出可復現性、審計的要求是否趨嚴，將影響密集模型在受監管行業的採納率。

信源

以下為本文引用的關鍵信源及建議進一步閱讀的文獻（檢索時間為 2024 年 10 月前）。

• Meta AI. “Llama 2: Open Foundation and Fine-Tuned Chat Models.” arXiv 2023.
• Meta AI. “The Llama 3 Herd of Models.” Meta 官方部落格, 2024.
• NVIDIA. “NVIDIA H100 Tensor Core GPU Architecture.” 白皮書, 2022.
• NVIDIA. TensorRT-LLM Documentation, 2024.
• Vaswani et al. “Attention Is All You Need.” NeurIPS 2017.
• Brown et al. “Language Models are Few-Shot Learners.” NeurIPS 2020.
• Shazeer et al. “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer.” ICLR 2017.
• Fedus et al. “Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity.” JMLR 2022.
• Grand View Research. “Large Language Model Market Size & Trends Report.” 2024.
• MarketsandMarkets. “Generative AI Market – Global Forecast to 2030.” 2024.
• Omdia. “AI Processor Market Tracker.” 2024.
• 台積電 2024 年技術論壇簡報、2024 年法說會紀要。
• 輝達 2025 財年第四季度財報（截至 2024 年 1 月 28 日）及後續季度報告。
• 歐洲議會新聞，“AI Act: first regulation on artificial intelligence.” 2023 年 12 月。
• 各公司官網、官方部落格及 Hugging Face 模型卡頁面。

注：所有財務與市場資料均標明年份、出處和口徑。產業分析中的定性推斷來自行業共識，不構成對任何公司或證券的價值判斷。