Decoder‑only 架构

1. 三秒看懂：单向生成的暴力优雅

Decoder‑only 架构已不仅是技术选型，而是大语言模型时代默认可控的生成范式。它只保留 Transformer 的解码器，用单向因果自注意力从左到右逐 token 预测下一个词，将一切自然语言任务统一为“从前文推断后文”。这种极致简化带来了惊人的通用性，使得对话、写作、代码生成、数学推理等开放式生成任务第一次获得了统一的模型基座。以 GPT‑4、Claude、LLaMA、Gemini 为代表的产品矩阵，在 2024 年支撑起全球 AI 推理调用量的 90% 以上，成为企业数字化转型、内容生产、科学研究以及国防安全等领域的核心基础设施。截至 2025 年初，全球已部署的 Decoder‑only 大模型参数总量超过 50 万亿，日均产生超过 3 万亿 token 的生成输出，并仍在以每季度 40% 的速度增长。可以说，理解 Decoder‑only 的每一个设计细节，就等于拿到了通往下一代人工智能产业的路线图。

2. 产业背景：从学术玩具到基础设施的定义权

Decoder‑only 架构的崛起并非偶然，而是算力、算法和数据三浪叠加的产物。2017 年 Transformer 原始设计包含编码器与解码器，用于机器翻译等序列到序列任务。2018 年 GPT 首次尝试仅用解码器进行无监督预训练，在零样本迁移能力上意外展现潜力。此后随着 OpenAI 发布 GPT‑2、GPT‑3，单向自回归模型展现出平滑的扩展律，迅速成为产业界的共识方向。2023 年至 2024 年，全球 AI 服务器支出飙升至 248 亿美元，其中大规模模型训练和推理消耗了超过 75% 的预算，而该类算力几乎全部为 Decoder‑only 模型服务。这种单一技术路线的支配地位，直接重塑了全球半导体供应链：HBM 高带宽内存需求暴增，2024 年仅 SK 海力士一家全年 HBM 营收即达到 130 亿美元，绝大多数订单用于配置英伟达 H100/B200 的 8 卡服务器；CoWoS 先进封装产能被台积电排至极限，月产能从 2023 年初的 9 万片晶圆扩张至 2024 年底的 32 万片；NVLink、InfiniBand 等高速互联市场也被带火，NVIDIA 单季度数据中心营收突破 220 亿美元。Decoder‑only 的定义权已经等价于大模型时代基础设施的定义权，任何试图挑战这一架构的方案，都不得不先趟平这条由无数企业重金铺就的产业链。

3. 统一生成范式：把所有任务变成“下一个词”

从产业效率角度看，Decoder‑only 最天才的贡献在于用一种方式吞噬了所有 NLP 任务。传统编码器‑解码器架构需要分别设计源序列理解和目标序列生成两个模块，而 Decoder‑only 直接把输入和输出拼接成一段连续的文本，把分类、翻译、摘要、问答全部重铸为文本续写。例如，只需将“将以下英文翻译成中文：Hello world. 翻译结果：”送入模型，模型就自动预测“你好世界”。这种范式消除了任务特定的头部设计，使得同一模型无需修改即可在数百种语言、数十类任务间零样本切换。对企业而言，这意味着维护单一推理流水线即可覆盖客服、营销文案、代码助手、合同审查等多个业务场景，极限压低了工程复杂度和人力成本。产业界由此诞生了“提示词工程师”这一新兴角色，其本质就是用自然语言为 Decoder‑only 模型注入任务先验，替代过去需要独立训练出的小模型。2024 年，某头部云厂商基于同一套 LLaMA 3 70B 架构，用不同的 system prompt 同时为 47 个内部应用供给推理服务，平均每个任务的定制成本从原来的 3 个月降至 1 天，充分展示了统一范式的工程威力。

4. 扩展律：越大越好，而且可预期

Decoder‑only 具备清晰且平滑的扩展律（Scaling Law），这是其商业价值的基石。2020 年 Kaplan 等人发现自回归语言模型的交叉熵损失与模型参数量、训练数据量、计算量之间存在幂律关系，2022 年 DeepMind 的 Chinchilla 定律进一步给出最优配比：每 1B 参数大约需要 20B 训练 token。此后，GPT‑4 据称达到 1.76 万亿参数，训练 token 量超 13 万亿；Llama 3 的 405B 版本使用 15 万亿 token 训练，在 MMLU、HumanEval 等基准上与闭源模型争锋。扩展律使得研发部门可以基于小规模实验精准预估万亿参数模型的性能，极大降低了商业决策的不确定性。2023 年至今，全球主要 AI 实验室每年花费数十亿美元专注于沿着“参数量 × 数据量 × 训练时长”三维展开的确定性路径上前进。这种可预期性甚至重构了资本市场对 AI 的估值模型：算力的线性投入带来确定的能力提升，使科技巨头敢于提前预订全球 80% 的高端 GPU 产能，形成滚雪球式的护城河。到 2025 年，训练一次前沿模型的成本已突破 10 亿美元，但扩展律仍在有效区，证明这场军备竞赛远未触及天花板。

5. 部署成本与生态的极致简化

与编码器‑解码器双模型架构相比，Decoder‑only 的推理仅需运行一个模型，显存占用、通信开销和服务编排复杂度均大幅降低。在生成过程中，已计算的 key 和 value 张量可存入 KV‑cache，避免每一步重新计算历史 token 的表示；双模型则必须分别维护两个缓存或者多次传输中间状态，难以适配高并发 API 场景。实际部署中，一个 70B 参数的 Decoder‑only 模型进行 INT4 量化后，单张 A100 即可承载 4k 上下文的多用户并发推理，而对等生成能力的编码器‑解码器模型通常需要至少两张卡或更多复杂调度。这种轻量化使云端推理成本极具竞争力：2024 年 OpenAI 将 GPT‑4o 的 API 调用价格下调至每百万 token 5 美元（输入）和 15 美元（输出），仍保持可观毛利。此外，生态协作成本同样大幅简化。几乎所有推理框架（vLLM、TensorRT‑LLM、SGLang）和模型格式（GGUF、GPTQ）均围绕 Decoder‑only 优化，第三方微调工具链（LoRA、QLoRA）的插件式接口也是统一标准。企业选择 Decoder‑only，就等于选择了全球最大社区的资源池，任何时候都能获得最快的适配速度和问题解决路径，这种生态级锁定效应是任何技术替代方案短期内无法打破的。

6. 技术原理：栈式结构的总览

解码器唯一模型由 N 个结构完全相同的解码器层堆叠而成，构成一条深度流水线。输入一串 token 索引序列，首先经过 Token Embedding 映射为高维向量，同时叠加上位置编码（当前标准为 RoPE），形成输入表示。然后依次穿过 N 层，每层内先进入因果多头自注意力模块，捕捉当前位置与历史上下文的关联；再送入前馈神经网络进行非线性投影，增强表征容量。两个子模块均使用残差连接相加，并采用 Pre‑Norm（即在子模块之前进行层归一化）以稳定深层梯度流。最后通过一个线性投影将最后一层隐藏状态映射到词表大小，再经 softmax 得到下一个 token 的概率分布。这种极其简洁的重复结构看似普通，却暗合分布式计算的完美对称性：每一层的总参数量和计算量完全相同，使层间切分、设备映射和通信调度可以达到理论最优均衡，这是它能从百亿参数顺畅扩展到万亿参数的关键。

7. 因果自注意力与位置编码的内在机理

因果多头自注意力是整个架构的核心。面对一个长度为 L 的序列，我们首先通过三个线性映射矩阵 W_Q、W_K、W_V 将每个位置的表征 h 投影为查询 Q、键 K、值 V。计算注意力权重的公式为：

text(Attention)(Q,K,V) = text(softmax)\!\left(frac(QK^T){sqrt(d_k)} + M\right)V

其中 d_k 为每个头的维度，起到尺度归一化作用，避免点积过大导致 softmax 进入饱和区。M 是一个严格上三角为 -∞ 的掩码矩阵，确保在预测位置 i 时，权重对 j>i 的位置为零，即只能利用过去和当前信息，保留下文完整的因果性。这种强制单向机制不仅贴合语言的自然顺序生成，更让训练可以利用一次性并行计算所有位置的损失，无需像 RNN 一样串行迭代，大幅提升了训练吞吐量。与此同时，位置编码经历了从绝对正弦编码到可学习编码再到 RoPE（旋转位置编码）的演进。RoPE 通过将 Q、K 向量乘以位置相关的旋转矩阵，巧妙地把相对位置信息编码到内积中：

Q_i K_j^T = f(i-j)

这使得模型天然具备相对位置感知和外推能力，可以从训练时的 4k 上下文平滑扩展到推理时的 32k、128k 甚至百万 token，而无需重新训练位置嵌入表。这也是为什么以 LLaMA 系列为代表的现代 Decoder‑only 模型可以轻松应对长文档处理和持久对话。

8. 前馈网络与激活函数的演进

每层自注意力之后紧跟一个前馈网络（FFN），负责对每个位置独立进行深度非线性变换，通常为两层 MLP，中间维度扩大至隐藏维度的 2.5~4 倍。早期设计采用简单的 ReLU 或 GELU 激活函数，但 2020 年后 SwiGLU（SiLU 加门控线性单元）逐渐成为标配。SwiGLU 将中间维度分为两路，一路经 SiLU 激活，另一路保持不变，再逐元素相乘，最后线性投影回原始维度。这种门控机制在不显著增加计算量的同时大幅提升了训练稳定性和最终性能，尤其在多语言和代码任务上表现突出。Llama 的第一代仍采用 SwiGLU 增强的 FFN，而到了 Llama 3 系列和若干 MoE 模型，FFN 的结构更是演变为可插拔的专家模块。为提高参数效率，部分模型将部分 FFN 替换为 MoE，由路由网络根据 token 特征动态选择 top-k 个专家执行计算。这既能将总参数量推升至数千亿甚至万亿，又保持单次前向计算的 FLOPs 可控，让模型“大而不慢”。但 MoE 的引入也带来了负载不均衡、专家训练塌陷、通信复杂等新挑战，后文将进一步讨论。

9. 自回归生成训练与损失函数

训练过程宏观上就是一句句的“完形预习”。假设给定一个 token 序列 x = (x_1, x_2, …, x_T)，模型根据前文 x_{<t} 预测 x_t 的概率分布 P(x_t|x_{<t};θ)。整个序列的负对数似然损失为：

mathcal(L) = -frac(1){T}\sum_{t=1}^{T} \log P(x_t|x_{<t}; \theta)

由于因果掩码的存在，我们只需输入完整序列一次，前向传播后得到的第 i 个位置的输出 logits 就可以计算第 i+1 个 token 的损失，所以训练是完全并行化的。反向传播时梯度可同时流过所有时间步，最大化训练效率。数据准备上，所有文本被预处理成固定长度（如 4096、8192 或更长）的样本，通过跨文档打包（document packing）减少 padding 浪费。优化器多选用 AdamW，搭配余弦退火学习率调度和梯度裁剪。近年来，训练配方还引入了一些稳定技巧：Z-loss 正则化、QK 归一化、logit 软上限等，以防止在数万亿 token 训练中出现损失尖峰甚至训练中断。正是这种简洁而鲁棒的训练范式，使得全球多个团队可以相对独立地复现并扩展 Decoder‑only 模型，推动了开源社区的繁荣和技术的民主化。

10. 分布式并行：从单卡到万卡的艰难攀爬

现代百亿至万亿参数 Decoder‑only 模型的训练，必须跨越单卡显存和算力的极限，深度依赖层结构的对称性进行多维并行。首先，张量并行（Tensor Parallelism）将单层内的权重矩阵沿列或行切分到多个 GPU 上，例如将自注意力的 Q、K、V 投影矩阵按列切分，前向时执行局部计算后通过 All‑Reduce 或 ReduceScatter 同步部分结果，使得原本单卡装不下的单层参数可以分布到 4~8 张卡。其次，流水线并行（Pipeline Parallelism）利用层间天然的顺序依赖，将模型按层切分为多个 stage，每个 stage 负责若干连续层的计算，通过微批次技术将不同批次的数据分时注入流水线，以掩盖 device 间空转。数据并行（Data Parallelism）则将所有卡复制完整模型，各自处理不同数据微批次，最后在梯度上 All‑Reduce。ZeRO 优化器将原本数据并行中每张卡都完整存储的优化器状态、梯度和参数分片到所有节点，极大减少冗余显存，使单机能够训练原本超过总显存 10 倍以上的模型。这几种并行策略的组合称为 3D 并行，再加上序列并行（sequence parallelism）将长序列切分以进一步分摊激活显存，共同构成当前万卡集群训练的基础。

11. MoE 与通信拓扑的深度耦合

当 FFN 层由 MoE 实现时，并行模式会变得更加复杂，并对通信产生深刻影响。MoE 的前向逻辑是：输入 token 先经过一个轻量路由网络（通常是线性层 + softmax），计算出每个专家的分数，然后选择 top-k 个专家（通常 k=2）。每个 token 被发送到对应的专家所在的 GPU 进行 FFN 计算，这个过程需要全局的 All‑to‑All 通信，因为 token 的源分布和专家目标分布通常是交错且不平衡的。All‑to‑All 的通信量正比于 token 总数 × 隐藏维度 × k，而这一步往往成为万卡场景下的性能瓶颈。以多次开源的 Mixtral 8×7B 为例，尽管总参数 47B，但每次只激活 2 个专家，约 13B 参数量，推理效率极高；但在训练中，All‑to‑All 的延迟会显著拉低 GPU 利用率。产业界为优化 MoE，设计了专家并行（Expert Parallelism）与张量并行、数据并行混合的策略，例如将专家切分并放置在不同节点，同一节点内用张量并行处理单个专家的 FFN 矩阵运算。同时，为了缓解专家负载不均引起的“专家惰性”和通信拥塞，还引入了辅助损失（load balancing loss）强制 token 分布均匀化，以及动态路由偏置调整等方法。可以说，Decoder‑only 向 MoE 的演进，本质上是将模型结构的设计空间与网络拓扑的物理极限深度绑定，推动高速互联技术向更高带宽、更低延迟演进。

12. 关键参数：深度、宽度、头数与词表

模型能力极度依赖少数几个关键参数的精细调配。首先是层数（深度）与隐藏维度（宽度），两者共同决定总参数量。经典配比如 GPT‑3 的 96 层、隐藏维度 12288；Llama 3 70B 采用 80 层、隐藏维度 8192；而 GPT‑4 据说达到 120 层、隐藏维度 20480 以上。更深的网络有助于高层语义抽象，但同时带来训练难度和显存压力的陡增。其次是注意力头数与 KV 头数。多头注意力允许不同子空间捕捉不同模式，但近年趋势是引入分组查询注意力（GQA），即使用更少的 KV 头（如 8 个）而保持 Q 头数不变（如 32 个），以在推理时显著压缩 KV‑cache 内存，而性能损失极小。词表大小直接决定 token 数量，典型值从 32k 到 256k 不等，词表越大，单 token 编码语义丰富度越高，但也会增加 Embedding 参数和 softmax 计算成本，需要通过优化 logit 裁剪和采样策略来平衡。上下文长度也是关键，RoPE 加外推技术（如位置插值、NTK‑aware scaling）已将原生 4k 窗口实际扩展至几十万 token，2024 年发布的 Gemini 1.5 Pro 甚至支持 200 万 token 上下文。这一参数改变了应用范式：整库代码、长篇小说、数小时会议记录可直接作为 prompt，无需复杂的分段检索，对产业应用影响深远。

13. 推理优化：KV‑cache、量化和稀疏注意力

Decoder‑only 模型从理论走向亿万用户，必须跨越推理效率的鸿沟。最核心的技术是 KV‑cache：推理时将每个历史 token 的 K、V 张量缓存，每步生成只需为新 token 计算 Q，并与缓存的 K 做注意力，避免历史信息的重复计算。这直接让自回归解码的时间复杂度从 O(L^2) 降低为 O(L)（相对于每步前向）。然而，长上下文下缓存本身膨胀成主要瓶颈，一个 70B 模型在 128k 上下文时 KV‑cache 需要超过 100GB 显存。为此，研发界推出了多种精确压缩或近似方法：Multi‑Query Attention 将 KV 头降为 1，GQA 取折中；PagedAttention 将缓存分页管理以消除碎片；StreamingLLM、H2O 等“注意力沉降”策略选择性丢弃中间 token 的 KV。量化技术同样关键，INT8/INT4 权重和激活量化可将推理所需显存减半，配合 GPTQ、AWQ、GGUF 等格式在消费级显卡甚至手机端实现 13B 模型实时对话。在计算端，FlashAttention 系列算法通过块状计算和重计算策略彻底避免了 QK^T 矩阵的全局物化，将内存 I/O 减少至近理论最小值，现已成为所有推理框架的默认后端。这些技术合力将单 token 生成延迟压缩至几十毫秒，成本降至数美分，使得 Decoder‑only 真正走向大众化。

14. 应用版图与全球竞争格局

Decoder‑only 模型的应用场景已远超自然语言处理本身。对话系统领域，ChatGPT 周活用户突破 2 亿，国内百度文心一言、阿里通义千问也成为亿万量级入口；代码生成方面，GitHub Copilot 基于 OpenAI Codex 系列，已支持 80 多种语言，为开发者完成超过 46% 的代码行；科学研究中，AlphaProof 的基础语言模型同样是 Decoder‑only，辅助数学家发现复杂证明；生物制药领域，Profluent 的 ProGen2 用类似架构直接生成全新蛋白质序列，若干个已进入体外实验。应用扩展的背后是全球科技巨头的激烈竞逐：OpenAI 与微软深度绑定，构建了从 Azure 超算到 Copilot 产品的垂直闭环；Google DeepMind 推出 Gemini 系列，通过 TPU v5 自研芯片试图夺回算力主权；Meta 高举开源大旗，LLaMA 系列成为全球开发者生态基石，衍生的 Mistral、Qwen、Yi 等模型在特定榜单形成强劲挑战。中国的百度、阿里、华为、智谱等也各自推出 Decoder‑only 基座，并在中文理解和多模态延展上形成差异化。这场竞争已不再单纯拼参数规模，而是围绕数据质量、长上下文、多模态、推理成本和开发者粘性展开多维拉锯，而 Decoder‑only 架构本身已成为这个竞技场的唯一入场券。

15. 挑战与未来：走向更广义的智能基座

尽管一路高歌猛进，Decoder‑only 架构仍面临深层挑战。其一，单向因果限制使其在需要双向全局理解的某些任务（如高质量排序、复杂文档层级理解）上难以达到编码器‑解码器或双向模型的理论上限。其二，幻觉问题根植于自回归的采样不确定性，当模型过度自信地预测下一个高概率 token 时，事实一致性往往被牺牲。2024 年研究表明，即使使用 RLHF 和 RLAIF 等方式校准，规模化也未能根治幻觉，需要外部知识增强和检索增强生成（RAG）弥补。其三，自回归的串行生成在极致低延迟场景（如实时语音交互）存在根本限制，虽然投机解码和并行解码有一定缓解，但原理性的序列依赖尚未破除。其四，日益庞大的训练和推理能耗引发可持续性质疑，据估计一次 GPT‑4 级训练消耗电力超过 50 GWh，相当于 6000 个美国家庭一年用电量。未来，Decoder‑only 架构可能向混合化、模块化演进：融合双向注意力模块提升理解，引入规划与工具使用机制缓解幻觉，通过状态空间模型替代注意力以实现线性复杂度长上下文，甚至与编码器‑解码器架构在统一框架下共存。但短期内，凭借极简性、扩展性和庞大的产业惯性，Decoder‑only 仍将稳坐大模型时代的第一把交椅，定义未来十年的技术主航道。