密集模型

3秒看懂

密集模型（Dense Model）是一次推理激活全部参数的深度学习架构。每次前向传播，模型的所有权重、所有层、所有神经元都参与计算，不存在依据输入动态跳过子网络的稀疏路由。与之相对的稀疏模型（如混合专家模型 MoE）只激活部分参数。密集模型是当前大语言模型的主力形态之一，其计算量、延迟和显存占用完全可预测，但推理成本随总参数量线性增长。

3分钟产业解释

密集模型代表一条“算力可预测性”极高的技术路线。无论输入内容如何变化，模型执行的是完全相同的计算图，全部能力在每次调用中都会被完整释放。这种确定性使其在金融、医疗、法律等高风险场景中极具吸引力，也便于提供服务等级协议（SLA）保障。代价是单次推理的硬件开销与模型总参数量成正比，无法像稀疏模型那样通过“增大总参数但只激活一小部分”来摊薄边际成本。

产业实践中，OpenAI 的 GPT-3、Meta 的 Llama 2 系列、Google 的 BERT、Mistral 的部分版本均采用密集架构。尽管 GPT-4 等前沿模型已被广泛认为转向稀疏路线，但密集模型在开源社区、确定性要求高的企业部署中依然占据核心地位。其对算力的渴求直接拉动高带宽显存（HBM）、高速互联（NVLink、InfiniBand）和先进封装（CoWoS）的需求，使整条算力供应链深度受益。

技术原理

密集模型的核心约束是：前向计算图在推理时不依赖任何与输入相关的条件分支。给定参数集 θ，对于任意输入 x，参与运算的参数集合恒等于 θ，不存在门控网络决定某部分权重被旁路。

以标准 Transformer 解码器为例，其密集变体的计算流程如下：

输入 [b, s, d]
  │
  ├─→ LayerNorm → MHA (所有注意力头) → 残差
  │
  └─→ LayerNorm → FFN (所有隐层神经元) → 残差
  │
  …重复 L 层…
  │
  └─→ LayerNorm → 输出投影

在整个流程中，每一层的多头自注意力和前馈网络的所有参数均被全量使用。注意力矩阵的计算不会因输入不同而跳过任何头，FFN 的隐层神经元没有稀疏激活。这带来两大工程红利：

• 确定性：输出仅由参数和输入决定，没有动态路由引入的延迟抖动与负载不均衡，便于做严苛的延迟优化。
• 并行友好：张量并行、流水线并行、数据并行的通信模式为高度规律的 AllReduce/ReduceScatter，无需处理稀疏路由特有的 All-to-All 通信和专家负载均衡难题，可沿用 Megatron-LM 等成熟分布式框架。

随着模型参数规模向数千亿乃至万亿迈进，密集模型“全激活”的特性使单次推理所需浮点运算（FLOPs）和显存带宽需求线性攀升，对 HBM 容量、NVLink 带宽及片间互联提出极限挑战。这也是近年来 MoE 等稀疏架构重新兴起的重要推力。

关键参数

密集模型的核心参数决定了其训练与推理的硬件需求、成本和性能边界。以下为关键指标及其产业含义。

• 总参数量（Total Parameters）：直接决定模型容量和裸显存需求。以 FP16 精度为例，每 10 亿参数约需 2 GB 显存仅用于存储权重。公开资料显示，Llama 2 70B 密集模型仅权重即需约 140 GB 显存，单卡无法容纳，必须采用多卡张量并行。
• 推理浮点运算量（FLOPs per token）：密集模型下该指标固定为 C_fwd ≈ 2 × 总参数量 ×（与序列长度相关因子）。例如，一个 70B 密集模型，生成一个 token 的前向计算量通常超过 140 TFLOPs。该指标直接映射为算力成本与能耗。
• 显存带宽利用率（MBU）：密集模型计算矩阵乘法时算术强度（FLOP/Byte）较高，但推理瓶颈仍主要在显存带宽。优化重点在于算子融合、KV Cache 压缩及量化（FP8/INT4），以减少从 HBM 搬运的字节数。例如，使用 FP8 可将权重的显存占用和带宽需求降低近一半。
• 推理延迟（Latency, ms/token）：密集模型因无动态路由，延迟完全可预测。在特定硬件（如 8×H100 服务器）上，Llama 2 70B 的推理延迟可稳定在数十毫秒/ token 量级（公开基准测试），适合实时交互。
• 训练吞吐（Tokens/sec）：受张量切分策略、流水线气泡和网络通信效率影响。密集模型通信模式规整，大集群训练时模型浮点运算利用率（MFU）可达 50%–60%（据 Meta Llama 2 论文及公开技术报告），高于早期部分 MoE 模型。

注：上述具体数字引自 Meta 的 Llama 2 技术报告、英伟达 TensorRT-LLM 文档及公开基准测试结果，年份为 2023–2024 年。

技术路线

密集模型与稀疏模型的路线之争，本质上是“全量确定性”与“规模弹性”之间的取舍。下表从多个维度进行定性对比。

整体而言，密集模型在质量敏感、安全关键、大批量离线推理等场景保持优势；稀疏模型则在成本敏感、超大规模、高吞吐在线服务中崭露头角。业界亦在探索半密集架构（部分层密集、部分层稀疏），以兼顾两者之长。

上游

密集模型的训练与推理对上游算力基础设施依赖极深，主要涵盖以下环节。

• 高带宽显存 GPU/NPU：英伟达 H100、A100（80GB）等数据中心 GPU 是密集模型的核心计算平台。公开财报显示，英伟达数据中心业务 2025 财年第四季度（截至 2024 年 1 月 28 日）营收达 184 亿美元，同比增长 409%，主要驱动力为大语言模型训练与推理需求。
• 高速互联：节点内依靠 NVLink、NVSwitch 提供每 GPU 900 GB/s 级带宽（H100）；节点间依赖 InfiniBand（如 NDR 400Gb/s）或 RoCE。密集模型的张量并行需要极大通信带宽，缺失将严重制约性能。
• 先进封装与 HBM：HBM3/HBM3e 是 GPU 显存的核心。SK 海力士、三星、美光为主要供应商。据台积电 2024 年法说会及公开供应链报道，CoWoS 先进封装产能长期供不应求，2024 年产能接近加倍但缺口犹存，直接限制高端 GPU 出货。
• 分布式训练框架：Megatron-LM、DeepSpeed 等对密集模型的张量并行、流水线并行和 ZeRO 优化提供成熟支持，是模型规模扩展的软件基石。
• 能源与散热：单台 8×H100 服务器功耗逾 10 kW，密集模型训练集群能耗巨大，对数据中心供电、散热提出更高要求。

下游

密集模型的下游应用覆盖自然语言处理的核心场景，并向多模态与具身智能扩展。

• 对话助手与代码生成：ChatGPT 类应用虽已采用稀疏/半稀疏架构，但大量开源部署仍选用密集模型（如 Llama 2 系列），因其部署简化、行为可控。
• 垂直行业确定性应用：金融风控报告生成、医疗辅助诊断、法律文书撰写等场景要求可复现、可审计的输出，密集模型是首选。例如，部分合规科技企业明确采用密集架构以通过模型审计。
• 具身智能与自动驾驶感知：大视觉 Transformer 密集模块用于实时物体检测、轨迹预测，对恒定延迟要求高，不允许专家负载波动导致决策延迟。
• 边缘与端侧部署：密集小模型（如 1B–7B 参数）经量化后可在手机、PC 端运行，如高通骁龙平台已支持 Llama 2 7B INT4 推理，密度架构的简单性利于硬件适配。

受益公司

以下企业因密集模型的广泛应用而在产业链中受益，陈述仅作产业关联分析，不构成投资建议。

• 英伟达：其数据中心 GPU 是密集模型训练推理的主力平台，推理软件栈 TensorRT-LLM 对密集模型优化极深，是硬件销售的强力催化剂。
• AMD、英特尔：AMD MI300X 系列及英特尔 Gaudi 3 加速器均瞄准大模型推理市场，密集模型的全激活特性使其易被新硬件适配，有望获取份额。
• HBM 供应商：SK 海力士、三星电子、美光科技，因密集模型需要高带宽显存，HBM 需求长期旺盛。
• 云服务商：微软 Azure、亚马逊 AWS、谷歌云等提供密集模型托管推理 API（如 Llama 2 的即服务），收入与 token 消费量高度相关。
• AI 服务器 ODM：超微电脑、纬创、英业达等直接受益于 AI 服务器出货量增长。
• 开源生态公司：Hugging Face 等平台承载大量密集模型下载与微调项目，用户活跃度持续攀升。

注：以上受益分析基于公开产业链信息（如公司财报、产品发布），不涉及任何具体股价或估值评判。

市场规模

密集模型本身不构成独立市场统计口径，其需求体现在大语言模型及生成式 AI 市场当中。以下引用第三方研究机构数据以描绘整体规模，并分析密集模型所占份额。

• 据 Grand View Research 2024 年报告，全球大语言模型市场规模 2023 年约为 15.9 亿美元，预计 2024–2030 年复合年增长率（CAGR）达 33.2%。
• MarketsandMarkets 2024 年报告预测，全球生成式 AI 整体市场将从 2024 年的 209 亿美元增长至 2030 年的 967 亿美元（CAGR 29.1%）。
• 公开资料未见单列“密集模型市场规模”的权威统计。基于当前开源与闭源模型发布格局，业内有估算认为密集模型在 2024 年仍贡献了超过 50% 的部署实例（以 token 处理量计），但该数字为产业定性推测，缺乏严格数据验证。

在基础设施层面，GPU 和 HBM 的出货量可作为密集模型需求的间接映射。Omdia 2024 年报告指出，2024 年全球数据中心 GPU 出货量预计超过 400 万颗，其中绝大多数被用于大模型工作负载，密集模型的训练和推理是重要需求侧动力。

玩家对比

当前密集模型领域的主要玩家可分为闭源与开源两大阵营，其模型架构、参数规模、开放程度和商业模式各异。

• OpenAI：GPT-3（175B 参数）为标志性密集模型，但 GPT-4 及后续版本据公开分析已采用稀疏混合专家方案，代表从密集向稀疏切换的先锋。
• Meta：Llama 2 7B/13B/70B 全系为标准密集架构，Llama 3 首批发布的 8B/70B 版本亦延续密集路线，极大促进了开源社区的密集模型应用。
• Mistral：初期 Mistral 7B 为密集模型，Mixtral 8×7B 则转向稀疏 MoE，体现小型密集与中型稀疏的双线策略。
• Google：BERT、T5 等早期模型为密集架构，后续发布 Gemini 系列，官方未披露是否为纯密集，业界推测包含稀疏模块；其内部研究显示密集与稀疏两条线并行。
• 阿里、百度：通义千问、文心一言基础版本据公开技术博客多采用密集结构，后续迭代逐步融入稀疏元素以降低推理成本。
• 初创公司与开源社区：Together AI、Fireworks 等提供密集模型的高效推理服务，以低延迟和确定性为卖点，争夺对质量敏感的客户。

在模型性能方面，密集模型在同激活参数量下往往能取得更好的基准测试成绩（如 MMLU、HumanEval），但在总参数相同时，稀疏模型由于知识容量更大，可能表现更优。这体现了“有效参数量”与“总参数量”之间的权衡。

风险

密集模型的发展与部署面临多重风险。

1. 算力成本失控风险：随着模型规模增长，全激活特性使单次推理成本随参数线性攀升。若企业无法将高昂的推理成本向终端用户转嫁，可能引发商业闭环断裂。
2. 供应链瓶颈：高端 GPU、HBM 和 CoWoS 产能高度集中在少数供应商。地缘政治因素、自然灾害或政策限制均可能导致供给中断，直接冲击密集模型部署计划。
3. 技术路径替代风险：稀疏模型、状态空间模型（如 Mamba）或新架构若在相同成本下实现显著更高的质量，密集模型的市场空间将被压缩。不过，截至 2024 年底，尚无明确证据表明密集路线将完全被替代。
4. 能耗与 ESG 压力：密集模型训练和推理的巨量电力消耗引发环境担忧，若监管趋严，可能增加企业合规成本或限制数据中心扩建。
5. 开源模型安全与滥用风险：密集模型结构简单、易于微调和分发，可能被用于生成虚假信息或执行恶意代码，带来监管和法律风险。
6. 过度投资与泡沫风险：资本市场对密集模型算力的追捧可能造成超前建设，一旦需求增速放缓，上游企业或面临产能过剩与价格战。

误读纠偏

误读 1：密集模型就是全连接网络
密集指“所有参数均参与计算”，而非特指全连接层。Transformer 的自注意力层并非传统全连接，但在密集模型中，所有注意力头、所有层的参数都会被执行，无动态跳过。稀疏模型的专家网络可能是全连接层，但因门控只激活部分专家，故不属于密集模型。

误读 2：稀疏模型必然优于密集模型，密集模型将被淘汰
稀疏模型在控制推理成本方面有优势，但其训练不稳定、延迟波动、All-to-All 通信开销在小批量时严重等问题仍然存在。密集模型在确定性、易审计性、训练收敛性上仍具优势，在安全敏感和质量优先的场景中不可替代。两者将在不同细分市场长期共存。

误读 3：密集模型推理必然比稀疏模型慢
推理速度取决于总计算量和硬件利用率。密集模型通信模式简单，多卡张量并行时能够达到极高的硬件利用率（MFU 可达 50%–60%）。稀疏模型虽有较低的浮点运算量，但负载不均和通信开销可能导致实际推理延迟差异不大。同等激活参数量下，密集模型常因高效并行而实现更快响应。

误读 4：密集模型无法扩展到万亿参数
技术上，密集万亿参数模型在训练时需要极大的显存和互联带宽，目前成本极高，但并非不可能。谷歌的 PaLM 540B 即为密集模型（Google 2022 年论文）。未来随着光互联、存内计算等技术的成熟，密集架构可能突破现有物理限制。

最新事件

• 2024 年 10 月，Meta 发布 Llama 3.1 系列（来源：Meta 官方博客）：其 8B 和 70B 版本延续密集架构，405B 版本首次引入稀疏 MoE 模块，显示 Meta 在密集与稀疏之间灵活布局。
• 2024 年 7 月，英伟达发布 Blackwell B200 GPU（来源：英伟达 GTC 2024 主题演讲）：单芯片配备 192 GB HBM3e 显存，NVLink 5 带宽达 1.8 TB/s，显著提升密集模型推理容量与速度。该产品被多家大模型厂商预定，量产时间锁定 2024 年下半年。
• 2024 年 6 月，台积电宣布 2025 年 CoWoS 产能再翻倍（来源：台积电 2024 年技术论坛）：先进封装产能持续扩张以应对 GPU 需求，间接利好密集模型的大规模部署。
• 2024 年 5 月，多家中国厂商发布密集开源模型（来源：各公司官方公众号及 Hugging Face）：如零一万物发布 Yi-1.5 系列，采用密集架构，在某些中文基准测试中达到先进水平，显示密集路线在垂直领域仍具竞争力。
• 2023 年 12 月，欧盟 AI 法案达成政治协议（来源：欧洲议会新闻稿）：对高风险 AI 系统的透明度和可追溯性提出更高要求，可能推动需要输出可复现的场景更多采用密集模型。

跟踪指标

投资者和产业观察者可关注以下指标以把握密集模型赛道景气度。

• 前沿密集模型参数量与发布节奏：重点跟踪 Meta Llama 系列、Mistral 密集版本、国产密集大模型的参数规模和基准测试成绩。
• 英伟达数据中心 GPU 营收及出货量：英伟达季度财报中数据中心营收变化直接映射大模型训练推理需求。同时可关注 AMD、英特尔相关营收。
• HBM 和 CoWoS 产能与价格：以 SK 海力士、台积电的法说会及行业报道为准，关注 HBM 合约价格走势和产能扩张计划。
• 云厂商大模型 API 调用量和定价：微软 Azure、AWS 等的模型推理 API 定价调整及调用量增长趋势反映下游负担能力和需求弹性。
• 开源密集模型下载量与社区活跃度：Hugging Face 平台模型下载量、派生项目数量可作为市场渗透的温度计。
• 推理优化进展：量化技术（FP8、INT4）、推测解码、KV Cache 压缩等技术的突破与落地，直接改善密集模型成本结构。
• 监管政策动向：各司法辖区对 AI 输出可复现性、审计的要求是否趋严，将影响密集模型在受监管行业的采纳率。

信源

以下为本文引用的关键信源及建议进一步阅读的文献（检索时间为 2024 年 10 月前）。

• Meta AI. “Llama 2: Open Foundation and Fine-Tuned Chat Models.” arXiv 2023.
• Meta AI. “The Llama 3 Herd of Models.” Meta 官方博客, 2024.
• NVIDIA. “NVIDIA H100 Tensor Core GPU Architecture.” 白皮书, 2022.
• NVIDIA. TensorRT-LLM Documentation, 2024.
• Vaswani et al. “Attention Is All You Need.” NeurIPS 2017.
• Brown et al. “Language Models are Few-Shot Learners.” NeurIPS 2020.
• Shazeer et al. “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer.” ICLR 2017.
• Fedus et al. “Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity.” JMLR 2022.
• Grand View Research. “Large Language Model Market Size & Trends Report.” 2024.
• MarketsandMarkets. “Generative AI Market – Global Forecast to 2030.” 2024.
• Omdia. “AI Processor Market Tracker.” 2024.
• 台积电 2024 年技术论坛简报、2024 年法说会纪要。
• 英伟达 2025 财年第四季度财报（截至 2024 年 1 月 28 日）及后续季度报告。
• 欧洲议会新闻，“AI Act: first regulation on artificial intelligence.” 2023 年 12 月。
• 各公司官网、官方博客及 Hugging Face 模型卡页面。

注：所有财务与市场数据均标明年份、出处和口径。产业分析中的定性推断来自行业共识，不构成对任何公司或证券的价值判断。