总参数

3 秒看懂

总参数(Total Parameters)是深度学习模型中所有可学习权重与偏置的数量总和,直接决定模型的“理论容量”(Capacity)与存储规模边界。它不等同于每步计算实际被激活的参数,尤其是在混合专家(MoE)等稀疏架构中,总参数可达万亿级,但单次推理的激活参数仅为其几分之一甚至更低。这个指标本质上是“模型尺寸”的物理度量,而非直接的“智能水平”度量。

3 分钟产业解释

总参数常被用作衡量大模型“大小”的代理指标:GPT‑3 为 175B(2020 年,OpenAI 官方论文),PaLM 为 540B(2022 年,Google 官方博客),Google 的 Switch Transformer 更是达到了 1.6T 参数(2021 年,arXiv:2101.03961)。每增加一个参数,意味着多了一个需要在训练中通过反向传播学习、在推理时需要占据显存或内存的浮点数值,因此总参数与训练成本、硬件需求呈强正相关。

但有两个关键偏差在产业讨论中常被忽略,容易导致误判:

1. 稀疏架构的干扰:在混合专家(MoE)模型中,单次前向传播仅路由至部分专家(通常 1~2 个)。此时,真实的计算负载由“激活参数”决定。例如,Mixtral 8×7B 总参数约 46.7B,但激活参数仅约 12.9B(2024 年,Mistral AI 技术报告),推理成本更接近一个 13B 的密集模型,而非 47B。
2. 精度的稀释效应:同等参数量的模型,采用 FP32(4 字节)、FP16/BF16(2 字节)或 INT8/INT4(1/0.5 字节)时,实际存储空间与显存带宽需求相差可达 8 倍(4 字节 vs 0.5 字节)。一个 175B 的 BF16 模型需约 350GB 存储,但量化为 INT4 后仅约 87.5GB,总参数数未变,但硬件门槛巨幅下降。

产业界正从单纯攀比“总参数”的数字竞赛,转向追求“有效算力利用率”(MFU)和“稀疏激活效率”,力图在有限的计算预算和推理成本约束下,实现模型能力的最大化。

15 分钟专家深入

总参数的精确计算依赖于对模型架构的完整拆解。以当前主流大语言模型所采用的 Transformer 解码器为例,每一层的可学习参数主要分布在两个子结构中:多头自注意力(MHSA)和前馈网络(FFN)。

对于密集模型,以 GPT‑3 的实际规格为例(Meta 未完全开源,以下基于论文《Language Models are Few‑Shot Learners》及社区复现确认):

• 模型维度 d_{model}=12288
• 层数 L=96
• 注意力头数 n_{heads}=96,每头维度 d_k=d_v=128
• FFN 中间层维度 d_{ff}=4 \times d_{model}=49152

每层的自注意力部分包含 Q、K、V 和输出投影矩阵,若 d_k = d_v = d_{model}/n_{heads},无偏置,参数量为: 4 \times d_{model}^2 = 4 \times 12288^2 \approx 603,979,776 个参数。

FFN 部分包含两个线性层,参数量为: 2 \times d_{model} \times d_{ff} = 2 \times 12288 \times 49152 \approx 1,207,959,552 个参数。

每层合计约 1.812B 参数。96 层合计约 173.95B 参数。加上词嵌入矩阵(词表大小 V 与 d_{model} 的乘积)以及可能的输出层权重、位置编码等,总参数逼近 175B。注意,若词嵌入与输出层权重共享,可节省部分参数,但 GPT‑3 未采用此策略。

对于 MoE 模型,结构发生质变。以 Mixtral 8×7B 为例(2024 年,Mistral AI 论文《Mixtral of Experts》,arXiv:2401.04088),其并非将 FFN 直接复制 8 次,而是在每一层用 8 个专家 FFN 替换原有的单个 FFN,并引入一个路由门控网络 W_r。 总参数计算公式为:

\Theta_{total} = \theta_{shared} + E \cdot \theta_{expert}

其中共享部分 \theta_{shared} 包含自注意力权重和各层的归一化参数,专家部分 \theta_{expert} 为每个 FFN 的权重,专家数 E=8。单 token 的激活参数为:

\Theta_{active} = \theta_{shared} + k \cdot \theta_{expert}

式中 k 为每次激活的专家数,Mixtral 设为 2。该模型总参数 46.7B,但 k=2 时激活参数仅 12.9B,这正是其推理性能优异的核心。

一个极易出现的错误说法:将“激活参数约为总参数的 frac(k){E}”直接推广。这忽略了共享层权重在全过程中被完全激活的事实。正确的拆解应区分模型中的密集部分和稀疏部分,密集部分占据了不可忽视的参数量。在 Mixtral 中,共享参数(主要是注意力权重)约占其激活参数的 20%-30%(据社区分析,官方未逐项披露)。

训练时的显存放大效应:总参数主导了训练硬件需求。在混合精度训练中(模型参数 FP16,梯度 FP16,优化器状态 FP32),Adam 优化器每个参数需要存储:参数本身(2 字节)、梯度(2 字节)、动量(4 字节)、二阶矩(4 字节),总计每参数约 12 字节。若包含参数副本 FP32 主权重,则膨胀至 16-20 字节。因此,一个 175B 参数的模型,仅优化器状态就需约 1.4TB 显存,单卡几乎不可能完成,必须借助张量并行(TP)、流水线并行(PP)和数据并行(DP)以及 ZeRO 等优化状态分片技术。

关键参数

评估总参数的实际影响时,不能孤立看“数字”,必须结合以下关键口径参数,构成一个完整的评价矩阵:

• 总参数量 计量单位:B(十亿)或 T(万亿)。这是最原始的规模指标。来源必须是官方技术报告或经第三方严格复现的公共记录,否则应标注“行业推测”。例如:GPT‑4 的总参数,OpenAI 从未披露,所有数字均无官方信源。

• 激活参数量 单位同总参数。针对 MoE 或条件计算架构,这是比总参数更贴近“实际计算强度”的指标。其定义为:单 token 前向传播所经过路径上的参数总和。来源:模型架构论文中的明确公式。

• 精度格式与每参数字节数 FP32(4 Bytes)、BF16/FP16(2 Bytes)、INT8(1 Byte)、INT4(0.5 Byte)。这直接决定了模型文件的大小和推理时的权重带宽需求。例如,一个 70B 的 BF16 模型权重文件约 140GB,而 INT4 版本仅约 35GB。该参数常与“总参数”相乘计算存储与显存需求。

• 训练显存占用(估算) 公式: text(Memory) \approx text(Total Params) \times text(Bytes per Param) \times (1 + 1 + 2 \times frac(4){2}) 即:模型 + 梯度 + 优化器(FP32)。一个 175B 的 BF16 模型理论下限约需 1.4TB (175B × 2 × 4),使用 ZeRO‑3 等分片技术后,单卡需求可降至 30-50 GB 级别,但需更大规模集群和通信开销。实际测算数据取决于框架和并行策略。

• 每 Token 计算量(FLOPs) 经验公式:前向传播 FLOPs ≈ 2 × 总参数(密集模型)。即一个 175B 的密集模型,每处理一个 token 约需 3500 亿次浮点运算。MoE 模型的 FLOPs 与激活参数近似成正比,而非总参数。

• 模型文件大小 公式: text(Size (GB)) = text(Total Params) \times text(Bytes per Param)。此为单精度、未压缩的理论值。实际分布式存储中,由于分片和元数据,总占用会略高于此。2024 年,Hugging Face 上主流的 7B BF16 模型权重文件约为 13.5 GB,70B 模型约为 135 GB,可作为现实参照。

• 参数利用率 这是一个衍生指标: text(Utilization) = \frac{text(Activated Params)}{text(Total Params)}。密集模型为 100%,而 MoE 模型可设计在 20%-50% 之间。高的总参数配合低的利用率,意味着用“存储换计算”,在推理延迟上可能有优势。来源:同类架构对比。

(注:上述参数无单一标准化机构强制其定义,需在引用时说明计算口径。)

技术路线

围绕“如何高效构筑高参数量的模型”,当前产业界并存两条主流技术路线,其哲学分野在于对“总参数”的不同运用逻辑:

路线一:密集扩容路线

这是大模型时代的起点范式。假设所有参数在每一次前向传播中都被激活,通过持续堆叠层数(L)和扩宽模型维度(d_model)来线性或超线性地推高总参数。 代表模型:GPT‑3(175B,2020),PanGu-α(200B,2021,华为),PaLM(540B,2022,Google)。 硬件与训练基础:高度依赖高带宽显存(HBM)和高速芯片间互联(NVLink、Infiniband)。训练采用 3D 并行(数据 + 张量 + 流水线),Megatron-LM 框架为此量身定制。 优势:架构简单,扩展逻辑清晰,软件栈成熟。 核心困境:算力成本增长与性能提升的边际递减。Chinchilla 定律(2022,DeepMind)在实证上证明,在给定 70B 参数规模与等量的计算预算下,用更多的 token 训练一个 70B 模型,其效果显著优于用较少 token 训练的 175B 模型。这直接质疑了“钱烧在参数上”的效率。

路线二:稀疏 MoE 路线

保持或微增激活参数量,通过引入大量并行专家,将总参数作为“可编程的存储和知识库”。每次计算仅激活总参数的子集,实现“大容量,低算力”。 代表模型:Switch Transformer(1.6T,2021,Google)、GLaM(1.2T 总参数,97B 激活,2021,Google)、Mixtral 8×7B(46.7B 总参数,12.9B 激活,2024,Mistral AI)、DeepSeekMoE(145B 总参数,22.2B 激活,2024,DeepSeek,公开论文)。 硬件与训练基础:MoE 的训练引入了 All‑to‑All 通信,对网络交叉互联带宽提出极高要求,负载不均衡易导致“专家坍塌”。DeepSpeed‑MoE 等框架专门优化了此类并行策略。 优势:以较低推理成本撬动巨大模型容量,支持万亿级总参数。 核心困境:训练稳定性、专家负载平衡、微调泛化性。当总参数极高时,即使是推理,模型的纯存储压力(需离线保存全部专家权重)仍然巨大,对冷热数据分层和 HBM 容量提出物理限制。

对比总结:

(数据来源:各模型官方技术报告与论文,截至 2025 年 6 月已公开信息。)

上游

总参数的膨胀,是半导体与互联技术迭代的第一驱动力,其上游产业链涵盖算力芯片(计算)、高带宽存储器(存储)、互联通信(网络) 三大物理基础。

1. GPU/加速卡——算力心脏 万亿参数模型的训练,必须依赖千卡甚至万卡级集群。以 GPT‑4 传闻的万亿级参数为例(未确认),若采用密集架构,训练所需单精度 TFLOPS 足以让任何一个单卡硬件崩溃,必须分布式。

• 核心单品:NVIDIA H100 SXM (80GB HBM3,2023 年出货),H200 (141GB HBM3e,2024 年 Q2 起出货),B200 (预计 2024 年晚些)。中国市场由于出口管制,上述型号的满配版受限,华为昇腾 910B 成为国内唯一可支撑千亿参数训练的规模化替代品(据华为全联接大会 2023 发布信息及产业调研)。
• 需求公式:训练总显存需求 ≈ 总参数 × 20 字节(含优化器等)。一个 540B 的密集模型,训练集群的聚合 HBM 容量需至少 10.8TB 以上,加上冗余,实际需要数百张 H100 或 H200。 数据来源:SK 海力士 2024 年 Q1 财报及投资者演示材料指出,HBM 销量增长主要由“大语言模型对高容量 HBM 的需求”驱动,预测 2024 年 HBM 市场规模同比增长 2 倍以上。英伟达 2025 财年 Q1(截至 2024 年 4 月)数据中心业务收入达 226 亿美元,同比增长 427%,大力佐证了上游对总参数扩张的直接受益。

2. HBM 存储器——带宽与容量之基 总参数主导了“每卡需要装下多少权重”。一张 H100 的 80GB HBM 若用于推理一个 175B 的 BF16 模型(需约 350GB 权重),单卡根本无法完成,必须多卡张量并行。这直接催生了更大的 HBM 容量需求。

• 主力产品:SK 海力士 HBM3(24GB/层,2022 年量产),HBM3e(36GB/层,2024 年 Q1 供应 NVIDIA)。三星电子同样在 2024 年大规模扩产 HBM3。据市场调研机构 TrendForce(集邦咨询)2024 年 5 月数据,SK 海力士与三星在 HBM 市场的合计份额超过 90%,HBM3e 已成 H200 的标配。
• 量与价:HBM 的 ASP(平均售价)是传统 DRAM 的 3-5 倍,且作为总参数的刚性需求,其出货量直接关联智算中心建设的景气度。

3. 互联与网络 MoE 等大总参架构的 All‑to‑All 通信,需要极高带宽的跨卡互联。

• 片间互联:NVIDIA 的 NVLink(900 GB/s,双向,8 卡 HGX 整机)(NVIDIA DGX H100 数据手册,2023)和 NVSwitch,使 8 卡可以构成一个大型虚拟 GPU,共同容纳一个大参数模型。
• 节点间互联:InfiniBand(如 NDR 400Gbps)和 Spectrum‑X 以太网。光模块需求激增,800G 光模块成为 2024 年数据中心标配,中际旭创等供应商的出货量同比大增(据 LightCounting 2024 年 4 月报告及公司 Q1 财报)。

4. 国产算力链的结构性机会 受限于美对华先进制程 GPU 出口管制(2022 年 10 月,2023 年 10 月 BIS 规则逐步升级),国产 AI 芯片必须在受限的工艺下,通过先进封装和 HBM 集成实现高显存大算力。昇腾 910B 据信已达 400 TFLOPS (INT8)以上,并在讯飞星火、智谱 GLM 等大模型训练中得到规模化验证(据各公司公开合作披露)。但 HBM 的对华供应同样受限,导致国内对长鑫存储等国产 HBM 的期盼升温(公开资料未见量产时间表)。

下游

大参数的模型,是 AI 产业的“基础件”,通常不作为最终产品服务,其下游变现路径需经过微调、压缩、部署和 API 服务化。

1. 基础模型 API 服务 直接以“即服务”形式提供大参数模型的推理能力。总参数越大,单次调用的算力成本越高,定价也越高。尽管 MoE 使激活参数锐减,但仍需极大规模的显存集群来存放全量总参数(若模型未做冷热分层)。

• OpenAI GPT‑4 API:价格按 token 计,且输入与输出定价分离。虽未公开参数,但其 API 定价(2024 年 5 月版本)相对 GPT‑3.5 存在显著溢价,间接反映了更大总参数与更多计算消耗。
• 国内 API 市场价格战:2024 年 5 月起,字节跳动(豆包)、阿里云(通义千问)、百度(文心一言)、DeepSeek 等大幅下调或免费开放其大模型 API(据各公司官方公告)。这暗示国内千亿级参数模型的推理成本已大幅优化,MoE 和量化使高总参模型能以极低成本服务,总参数作为成本核心的压力有所缓解。

2. 微调与垂直应用适配 下游开发者通常不直接训练千亿级模型,而是基于开源总参数模型(如 LLaMA‑3 70B, Qwen‑2 72B)进行微调。

• 参数高效微调(PEFT):LoRA、QLoRA 等技术只向原有的庞然总参主体注入极少量的可训练权重(百万~千万级),冻结主体的总参数。这意味着一个 70B 模型的微调与部署,其核心运行成本仍由主体总参数决定,但迭代成本急剧降低。
• 垂直场景的困境:对于端侧或私有化部署,哪怕激活参数仅 12.9B,46.7B 的总参数仍意味着至少需要约 93GB(精度 BF16) 的显存才可完整加载模型,这让一机多卡的部署成本居高不下。剪枝、蒸馏与 INT4 量化成为下游将总参数“压进”单张消费级或边缘显卡的必备手段。

3. 终端应用的存储瓶颈 一部智能手机运行一个 INT4 量化的 7B 模型,需要约 3.5GB 的内存和充足的内存带宽。这带动了高通骁龙 8 Gen 3 和联发科天玑 9300 (2023‑2024 年发布)等 SoC 中集成更大 LPDDR5X 内存和更强 NPU 的设计趋势。总参数,即使被压缩,依然是终端 AI 硬件规格的“无形指挥棒”。

受益公司

基于公开的产业链分工、市场份额和客户关系,直接受益于大模型总参数持续扩张的上市公司与非上市公司可按环节划分。所有市场份额、收入占比数据均来自公司财报或权威第三方,并标注年份与口径。不存在投资建议。

1. 算力核心:NVIDIA (NASDAQ:NVDA)

• 关联逻辑:主流大模型均基于 CUDA 生态训练。总参数的增长直接拉动高端 GPU 出货量。
• 数据:FY2025 Q1(截至 2024 年 4 月),数据中心收入 226 亿美元,占整体收入 86% ,同比增长 427%。H100 与 H200 的 HBM 容量提升(80GB 到 141GB)是承接千亿参数 MoE 模型推理的核心驱动力。
• 中国区影响:受许可管制,A800/H800 亦受限后,公开资料显示 NVIDIA 中国区收入占比降至个位数百分比(此前约 20%),但替代性算力需求仍强劲。

2. 高带宽内存:SK 海力士 (KRX:000660) / 三星电子 (KRX:005930)

• 关联逻辑:每张 GPU 的 HBM 容量与带宽决定了可容纳的参数规模。HBM3e 是万亿参数时代必不可少的配置。
• 份额数据:据市场调研机构 TrendForce 2024 年 Q1 数据,SK 海力士在 HBM3 市场市占率约 53%,三星约 38%,两家基本垄断。SK 海力士 2024 年 Q1 营收创历史新高,营业利润毛利大增,明确归因于“HBM 在 AI 服务器的强劲需求”。
• 地缘变数:SK 海力士在华无锡工厂受限于美国政策,产线升级面临不确定性,这构成结构性供应风险(后详风险部分)。

3. 服务器与组装:超微电脑 (SMCI, NASDAQ) / 工业富联 (FII, 601138.SH)

• 关联逻辑:千卡至万卡 GPU 集群的物理承载与散热方案,高总参数 MoE 的 All‑to‑All 通信对机柜内布线要求极高。
• 数据:SMCI FY2024 Q3(截至 2024 年 3 月)收入 38.5 亿美元,同比增长 200%,其液冷方案与 GPU 服务器出货与 AI 投资呈强正相关。工业富联(鸿海旗下)是 NVIDIA 主力 AI 服务器 OEM,其 2023 年年报显示“AI 相关服务器出货强劲,占整体服务器收入 30%”。

4. 光模块与互联:中际旭创 (300308.SZ)

• 关联逻辑:总参数向万亿迈进,训练集群规模从千卡向万卡过渡,800G 光模块成为必选项。
• 数据:据 LightCounting 数据及公司 2024 年 Q1 财报,中际旭创 800G 产品出货量同比大幅增长,已成为谷歌、英伟达等的主要供应商。2024 年 Q1 营收与净利润同比均增长超 150%(公开财报口径)。

5. 国产算力:华为(海思)/海光信息/寒武纪

• 关联逻辑:受制于实体清单,中国客户无法获取最先进的 GPU,必须依赖本土产品来维持千亿级参数模型的持续训练与迭代。华为昇腾是主要力量。
• 定性与量:公开报道显示昇腾 910B 已被中国移动、科大讯飞等用于大模型训练,支持万亿参数 MoE 的集群方案(Atlas 900)已有新闻稿披露,但具体财务和市场占比数据未见公开拆解。海光信息的深算系列 DCU 以类 CUDA 生态切入,2023 年年报显示其营业收入同比大涨,但具体大模型贡献比例不详。寒武纪思元 590 等产品仍在早期市场推广期,公开信息未见大规模大模型训练部署。

6. 模型开发与发布者:OpenAI, Google, Meta, Mistral, 字节跳动, 阿里云, 百度, DeepSeek, 智谱

• 非直接上市公司的收益无法通过公开股价体现。但作为万亿美元级产业链的需求源头,其在资本支出的动向至关重要。比如,微软 FY2024 Q3(截至 2024 年 3 月)资本支出 140 亿美元,绝大多数用于 AI 算力(据微软业绩交流会),间接反映了为支撑大参数模型的巨大投入。

市场规模

由于“总参数”本身是一个技术指标而非一个买卖市场,这里的市场规模估算,实际对应的是“因模型参数增长而直接带动的 AI 基础设施市场(TAM)”。以下数据均引自第三方机构,标注年份与口径。

1. AI 芯片市场(直接引擎) 据 Gartner 2024 年 4 月发布的《半导体 DQ 预测》及内部口径,2024 年全球 AI 芯片收入预计将达到 710 亿美元,较 2023 年增长 33%,其中数据中心 GPU 和定制化 ASIC(如 Google TPU)占绝大部分。

• HBM 子市场:集邦咨询(TrendForce) 2024 年 5 月预测,2024 年全球 HBM 市场将达 180 亿美元以上,且占 DRAM 整体产业超过 20% 的产值,2025 年预计突破 250 亿美元。这个市场的直接驱动力就是模型参数的倍数增长对“每 GPU HBM 容量”的刚性需求。

2. 训练即服务(TaaS)与云算力市场 据 Forrester 及第三方行研机构 F&S 对云厂商 AI 服务收入的估算(综合 2024 年 Q1 多家券商报告),2024 年全球大模型训练与推理相关的云基础设施服务市场规模在 400 亿 - 500 亿美元区间。该数字的增量主要来自:

• 模型从千亿参数向万亿参数的探索性训练(单次成本可达 1 亿 - 2 亿美元,基于 Chinchilla 定律和公开算力价格反推,确切的单一训练成本未见各家披露);
• MoE 模型虽然激活参数少,但存储全量参数仍需要海量显存堆叠,推高了推理节点的硬件保有量。

3. 中国智能算力规模 据 IDC 2023 年末发布的《中国加速计算市场半年度跟踪报告》,2023 年中国智能算力规模达 414 EFLOPS (FP16),预计 2027 年可达 1436 EFLOPS。2023 年从千亿参数密集模型向万亿稀疏模型的军备竞赛,是中国智算中心建设的核心拉动因素。

• 三大运营商(中国移动、电信、联通)在 2023 年已明确披露了智算中心千卡集群的采购并强调了“支持万亿参数模型”;
• 2024 年“东数西算”枢纽智算中心利用率提升,但国产卡与 CUDA 生态的迁移成本仍是 TAM 实现的摩擦项(来源:公开新闻及政府部门文件)。

边际增量评估:由总参数持续高增所衍生的 “冗余参数量”存储需求,是 MoE 时代新的市场增量极。每个万亿参数的 MoE 模型,即使推理时仅激活 100B,也必须完整存储 1T 权重的分片镜像。这部分“存下来的参数”直接消耗 HBM 和 SSD 存储,成为 HBM 在 2024 年疯涨的最重要结构性解释。公开资料未单独拆分此细分市场的金额,但据行业内调研,大型智算中心用于 MoE 模型的存储层容量,预计在 2024-2025 年有 3-5 倍的扩容需求。

玩家对比

下表对全球及中国最具代表性的高参数量模型进行横向对比,重点剖析“总参数 vs 激活参数”的架构选择差异。所有数据均取自官方技术报告、公开论文,推测部分已明确标注。

对比洞察:

1. 中美分野:美国厂商公开论文中模型参数的上限已至万亿级(Google,尽管是 2021 年),且 Google 的 TPU 路线克服了万卡互联的部分瓶颈。中国厂商在 2024 年密集推出千亿级 MoE 模型,公开参数虽低于美国头部,但激活参数与性能之比(即推理效率)是核心追赶方向。
2. 开源 vs 闭源:以 LLaMA‑3、Mixtral、Qwen‑2、DeepSeek‑V2 为代表的开放权重模型,其总参数已逼近甚至超越 GPT‑4(若其确为约 1.8T 传闻)的一半,激活参数量更在一个量级。这显著加速了下游应用的部署普及。
3. 总参数披露意愿下降:随着模型进入商业竞争,GPT‑4、Gemini、Claude 3 等闭源模型均不披露参数,以免被竞争者反推架构和训练成本,这增强了市场对总参数指标的“信号模糊”,推动评估向实测性能(MGSM, HumanEval 等)转移。

(注:GPT‑4 为行业推测,缺乏官方来源,已在表中标注。)

风险

总参数作为核心技术指标,其背后驱动产业所面临的风险,既来自技术本身,也受地缘政治与商业模式的强约束。

1. Chinchilla 定律的“参数墙”风险 扩展定律表明,对于固定的训练计算预算,过度增加总参数会牺牲数据量,导致模型性能次优。如果新一波万亿参数模型在有限数据下训练(据 2024 年预测,公开高质量文本数据约 15T-20T token 见顶,未含合成数据),那么越大的总参数,可能带来越严重的过拟合和泛化能力下降,形成“大而无当”的浪费。这会直接降低超大规模集群训练投资回报率。

2. 摩尔定律的物理限制与显存天花板 HBM 虽在容量和带宽上飞涨,但每 bit 的功耗与成本降低速度正在放缓。一个万亿参数的模型,即使 INT4 也需约 500GB 存储,训练过程中仅模型本身 FP16 就需 2TB。这迫使内存墙成为一个硬性、无法通过算法完全消解的问题。如果 3D DRAM 和玻璃基板等新技术不能按期成本平价化(据台积电和 SK 海力士技术路线图,均在 2026-2027 年之后),以总参数膨胀为基石的路线将面临硬件供给停滞。

3. 地缘政治供应链断裂风险(核心) 2023 年 10 月美国 BIS 出口管制规则全面升级,施加“性能密度”和“总处理性能”双重限制,导致中国无法获取英伟达 H100/B200 及 HBM3e 等最先进硬件。一旦 SK 海力士、三星的高带宽内存供输华中断,国产 GPU(昇腾等)自身性能又暂未完全弥合 HBM 差距,中国万亿参数竞赛可能失速,从“缩水参数”走向“转向高效小模型”的路径,对已布局的规模庞大的智算基建构成重大沉没成本风险(据《金融时报》2024 年 4 月相关报道分析及 SIA 声明)。

4. MoE 自身的技术陷阱与规模负效应

• 训练不稳定性:专家坍塌、路由极化是 MoE 的常见灾难性故障,模型越大,越难精细调参,训练失败成本(数千万美元量级)极高。
• 知识碎片化:每个专家学习到的知识割裂,总参数虽大,但在一项复杂推理中难以像密集模型一样有效综合,微调时也容易出现灾难性遗忘,实际可用性打了折扣。这属于 MoE 的“结构性损耗”。
• 推理存储负担:总参数必须存下来,部署一个 1.8T 参数的 MoE 模型,在冷热分层不完善时,仍需天量的内存池,限制了边缘化和低成本 API 的推广。

5. 商业价值兑现的不确定性 庞大的总参数带来的边际智能提升(Metric 如 MMLU 提升 1-2 分),是否被终端用户和付费企业感知并愿意支付溢价值。若应用层爆款缺失,基础设施的过度投资将面临与 5G 早期类似的“管道化”矛盾,大参数变成高固定成本和低边际收益的“白象”。

误读纠偏

围绕总参数,存在六个深层的、来自产业认识上的常见偏差,需被严格纠正。

1. 误读:“模型参数越大,智能一定越强。”

• 纠正:缩放定律(the Chinchilla Law)确切指出,这不是线性关系。“算力、参数、数据”存在最优配比。一个 70B 用 2T tokens 训练的模型,性能吊打 170B 用 300B tokens 训练的模型(Meta LLaMA‑2 论文即侧面佐证)。盲目拼总参数而吝啬训练数据,属于典型的“面子比里子大”。

2. 误读:“MoE 激活参数 = 总参数 ÷ 专家数。”

• 纠正:这是严重的计算错误。正确的公式是 “激活参数 = 共享注意力层 + k × 每个专家 FFN 参数”。共享层权重在每一步中都 100% 激活。以一个 46.7B 的 MoE 模型为例,若专家 8 且 k=2,忽略共享层则会低估激活参数,实际激活为 ~12.9B,而非 46.7/4 ≈ 11.7B。这会影响推理算力预估甚巨。

3. 误读:“总参数决定模型文件大小,是绝对的。”

• 纠正:模型文件大小 = 总参数 × 每参数字节数(精度)。FP32 的一个 1B 参数是 4GB,INT4 是 0.5GB。如果不提精度,大谈“模型用了几百 GB”毫无意义。这是存储、带宽采购时的关键口径。

4. 误读:“万亿参数模型日常推理需要万亿参数的计算。”

• 纠正:对于 MoE,仅计算激活的专家部分。产业的真相是:万亿总参的模型,其推理延迟和功耗可能仅与数百亿的密集模型类似,这才使得万亿参数商用成为可能。因“万亿”数字而产生难以企及的畏难情绪属于误判。

5. 误读:“公开参数显示越大,该厂商技术越强。”

• 纠正:部分厂商选取 MoE 可在极短时间内将总参数吹大(增加专家即可),但训练是否收敛、负载均衡是否稳定、最终推理得分如何,是更严苛的考验。要警惕纯粹为了“宣称 Total Params 过一个门槛”的 PR 式膨胀,更应关注“激活每参数产生的 benchmark 得分”。

6. 误读:“总参数是固定的物理量,一旦训练好就不会变。”

• 纠正:在实际推理中,剪枝、蒸馏、甚至动态计算路由都会使得有效使用的参数不同。并且一些模型未公开权重精度,或者使用了动态精度,使参数这个数字在实际工程落地时只是“最大公约”档案,而非一成不变的静态物理量。

最新事件

(本节基于 2024 年至 6 月的公开重大动态,体现总参数作为产业核心变量的最新竞争态势。)

• 2024 年 3 月,英伟达发布 B200 GPU 与 GB200 超级芯片:在 GTC 2024 大会上,英伟达公布 Blackwell 架构,其 HBM3e 容量高达 192GB/GPU,2 片 B200 + 1 块 Grace CPU 构成 GB200,支持在更少节点上完整驻留万亿参数模型(推理时总参数不再需过度跨节点)。此事件将“全参数常驻内存”推向新高度,使 MoE 超大规模部署的成本加速下探。(来源:NVIDIA 官方新闻室,2024.03.18)

• 2024 年 5 月,DeepSeek‑V2 因极端性价比引发降价潮:DeepSeek 发布 236B 总参数、21B 激活的 MoE 模型,并公开宣称其 API 成本仅 GPT‑4‑Turbo 的近百分之一。其在架构上对注意力模块也引入了稀疏策略,减少 KV Cache,标志着“总参数与激活参数之比”作为商业定价武器的时代到来。(来源:深度求索官方微信公众号及 API 文档,2024.05.06)

• 2024 年 5 月,中国大模型 API 集体降价或免费:字节跳动发布豆包大模型,将输入价格定至极低,随后阿里、百度、腾讯、科大讯飞批量降价或免费。这从侧面反映,经过对 MoE 与量化优化,千亿级总参数量大模型的单位推理成本已跨越了规模化商用红线。高总参数不再是高成本的代名词。(来源:各公司官方公众号及云平台公告,2024.05-06)

• 2024 年 6 月,Computex 2024 黄仁勋揭示迭代节奏:英伟达公开产品路线图(一年一代),Rubin 平台将于 2026 年推出,依托 HBM4。这种节奏的核心在于预判“模型参数及其激活规模的复合增长”,确保物理层不会成为 AI 缩放的瓶颈。总参数的膨胀预期正在被硬件供应商以年度为单位变现为订单。(来源:英伟达 Computex 2024 主题演讲直播与新闻稿,2024.06.02)

• 2024 年 5 月,智谱发布 GLM‑4 系列并更新 MoE 架构:智谱 AI 最新发布中,其高管及论文公开提及采用国产算力进行千亿级参数 MoE 训练的细节,证实中国厂商在受管制情况下仍可使用本土方案推进万亿参数量级的概念验证。(来源:智谱 AI Open Day 及相关媒体通稿,2024.05)

跟踪指标

对于关注总参数这一产业变量的分析师、从业者与投资者,建议建立以下硬数据跟踪看板,按月度或季度校准认知。

1. 模型维指标

• 新发模型参数披露:按月追踪 Hugging Face Open LLM Leaderboard、各 AI Lab 官方博客的参数声明。重点区分“总参数”与“激活参数”。
• MoE 专家数与 k 值:如新发布模型为 MoE,记录其每层专家数和激活数。这决定推理效率底数。
• 精度格式演进:主流部署格式从 BF16 到 INT4 的迁移率,可观察 Hugging Face 社区中量化版本占比。

2. 硬件供给维指标

• HBM 价格与交期:跟踪 TrendForce、DRAMeXchange 对 HBM3/HBM3e 的现货价及合约价趋势。价格向上意味供给紧,总参数扩张需求强劲;交期延长则暗示产能瓶颈。
• 英伟达数据中心收入及下季指引:在美股财报季(每年 2、5、8、11 月),英伟达此两项数据是总参数投资热度的最直接财务映射。
• 中国昇腾/海光交付与万卡集群新闻:通过政府招标网、三大运营商采购公告、产业媒体,监测国产卡支撑万亿参数集群的交付进展。

3. 成本与商业化指标

• API 每百万 token 价格:汇总 OpenAI, Anthropic, Google Cloud, 阿里云, 百度, 字节等的主要模型 API 报价。持续降价意味着总参数对成本的主导力减弱,激活效率或量化技术取得突破。
• 模型单次训练成本估算:当有新的训练规模或集群的论文/报告发布时,综合计算算力 x 单价(通常需根据云服务商公开报价反推)。

4. Scaling Law 学术指标

• 新缩放定律论文:关注 arXiv 上是否有挑战或修正 Chinchilla 的论文。这关系到“增加总参数”本身的哲学还否成立。
• 公开数据的总 Token 量估算:各大模型训练数据的 token 总量,是预判总参数盲目膨胀是否会撞上数据墙的前置信号,需关注 Common Crawl 等语料库及合成数据有关的新数据集发布。

5. 法规与地缘政治指标

• 美国 BIS 出口管制实体清单与规则更新:特别是关于总处理性能(TPP)和性能密度(PD)的计算规则的修改备忘录。
• 中国工信部 / 发改委的新基建、算力基础设施相关政策:特别是涉及国产大模型集群和存力的扶持细则与补贴规模。

信源

为确保信息可靠、可追溯,所有核心判断与数据均基于以下信源类别。在以上正文中,已按场合给予具体引用。此处提供集中索引,以便核实与深化研究。

1. 学术论文(原始定义与缩放定律)

• Vaswani et al. “Attention Is All You Need” (arXiv:1706.03762, 2017). ——Transformer 结构参数计算基础。
• Kaplan et al. “Scaling Laws for Neural Language Models” (arXiv:2001.08361, 2020). ——首篇参数-算力-数据缩放规律。
• Hoffmann et al. “Training Compute-Optimal Large Language Models” (arXiv:2203.15556, 2022). ——Chinchilla 缩放定律,重新定义了参数与数据的最