Greedy Decoding

3 秒看懂

Greedy Decoding（贪心解码）是自回归语言模型在每一步都选择当前概率最高的词元（token）作为输出的解码策略。它的优点是简单、速度快且确定性高，但会因缺乏前瞻性而陷入局部最优，导致生成文本重复、单调，整体质量通常低于波束搜索或精心设计的采样策略。

3 分钟产业解释

在 Transformer 自回归解码（如 GPT 系列）中，模型每次输出一个条件概率分布，贪心解码直接取 argmax 作为下一个 token，然后拼接进上下文再预测后续 token，循环至终止。该策略的计算开销是所有策略中最小的：没有额外的 Top‑k 筛选、温度缩放之后的采样，也不需要像波束搜索那样维护多条假设路径并反复打分对比。这在产业中有两个极端应用场景：

• 低延迟硬实时场景：如自动语音识别的流式转录、边缘设备的键盘输入建议，时延要求超过生成质量，贪心解码的确定性执行路径对硬件友好，便于在 NPU/GPU 上做算子融合和 KV 缓存优化。
• 确定性任务的基线：在机器翻译、代码补全等任务中，如果模型已经通过大规模训练具备了较强的序列确定性，贪心解码所得输出与波束搜索差异很小，且避免波束因长度惩罚不当导致的过短/过长问题。

产业里，大部分部署在云端的对话模型（ChatGPT、Claude）实际采用采样（temperature + top‑p/top‑k）以达到多样性和类人化，但贪心解码依然是衡量生成任务“上限”和测试模型是否发生严重退化（如重复循环）的工具。

15 分钟专家深入

核心机制与决策链条

设自回归模型在时间步 t 接收前缀序列 x_{<t}，输出下一个 token x_t 的条件概率分布为： P(x_t | x_{<t}) = softmax(h_t · W) 其中 h_t 为最后一层隐状态，W 为输出投影矩阵（词汇表大小 |V|）。贪心解码选择： x_t = argmax_{v∈V} P(v | x_{<t}) 然后将 x_t 拼接到序列中进入 t+1 步。整个过程不涉及随机采样，也无多于一个候选的搜索树。

为什么贪心解码在理论上不保证全局最优

语言生成可以被视为求解最优序列 X* = argmax_{X} P(X)，由于解空间呈指数级，直接搜索不可行。贪心解码在每一步都做最优选择，相当于假设： argmax_{X} ∏ P(x_t | x_{<t}) = ∏ argmax_{x_t} P(x_t | x_{<t}) 这只有在每一步的选择与未来选择完全无关时才成立，但自然语言具有长距离依存，局部最优往往导致后续高概率路径被锁死。

典型表现：

• 重复退化：模型一旦输出某个高频承接短语（如 “as we all know”），后续分布变得尖锐，argmax 反复选中相同 n‑gram，进入循环。
• 确定性碰撞：在没有外部扰动（如温度调节）下，同一输入永远生成相同输出，无法支持“创意生成”。

与采样、波束搜索的对立与互补

近年研究（如 Holtzman et al. 2020）指出，人类文本并不总在概率峰值，纯最大化概率的解码方式往往产生“机器味”文本。因此，产业主流已从贪心/波束转向采样策略，仅在需要可复现、低方差输出时保留确定性解码。

实现细节

实际推理框架中，贪心解码并不显式计算整个 softmax，而是重用 top‑1 索引查找，结合 KV 缓存，每一步只推一个 token 的编码，使首 token 延迟与后续 token 延迟的差距体现模块的访存和计算比。针对特定硬件（如 NVIDIA TensorRT, Apple Neural Engine），有高度优化的 greedy_search 算子，直接返回 argmax(logits) 而不保留概率值。

技术原理

(最深，讲机制+关键参数，可 ASCII 图但用代码块包)

序列概率分解

自回归语言模型将联合概率分解为条件概率之积： P(x_1, x_2, ..., x_L) = ∏_{t=1}^{L} P(x_t | x_{<t}) 贪心解码的目标是近似求解 argmax_X P(X)，其迭代过程如下：

输入: prompt_ids=[s], max_len, eos_token_id
输出: output_ids

t = len(s)
while t < max_len:
    logits = model.forward(context)   # shape: [1, |V|]
    next_id = argmax(logits)          # 仅取最高值
    if next_id == eos_token_id: break
    output_ids.append(next_id)
    context = concat(context, next_id)
    t += 1

每一步 argmax(logits) 相当于以 Diract delta 分布作为下一步的输入分布，它完全不向后继步传递任何概率质量，信息坍缩为单一确定性值。

为什么重复循环会发生

在数值上，语言模型对于已经生成的词组会给出极高的延续概率。假设某步 top‑1 映射到 token “that”，且条件概率 P("that"|... that) ≈ 0.95，贪心解码将永远选择 “that” → “that” → “that”…，直到达最大长度或人工截断。这是“确定性导致退化”的典型案例。波束搜索通过保留宽度 k，能部分绕过这种局部峰值，而采样则通过注入随机性直接跳出。

数学上的形式化对比

• 贪心解码：x_t = argmax_{x_t} P(x_t|x_{<t})
• 波束搜索：维护 k 个部分序列，在每个时间步扩展 k×|V| 个候选，取 beam‑score 最高 k 个继续。beam‑score 通常为 Σ log P(x_t)/len 或加长度惩罚。
• Top‑k 采样：从概率最高的 k 个 token 中归一化后采样。
• Top‑p (nucleus) 采样：累积概率质量达到阈值 p 的最小集合中采样。

贪心可以看作是 temperature→0 的 softmax 极限 argmax，但实践中直接 argmax 更快避免数值问题。

示例（ASCII 示意图）

代码块中展示两个时间步的概率与选择：

Time step 1: model(logits) → softmax → probs
   "the":     0.45  ← argmax
   "a":       0.30
   "an":      0.12
   ...
Chosen token: "the"
Input for step 2: [..., "the"]
Time step 2: model(logits) → softmax → probs
   "the":     0.61  ← argmax (重复退化)
   "same":    0.18
   ...
Chosen token: "the" → 进入循环

技术演进史

• 统计语言模型时代（2000–2013）：N‑gram 模型结合贪心解码作为最基础的解码方式，没有有效前瞻手段。同时期，机器翻译已经引入基于动态规划的栈搜索解码，但纯语言生成（如拼写纠错）多用贪心。
• RNN/LSTM 序列到序列（2014–2017）：Sutskever et al. (2014) 的 Seq2Seq 模型中采用了波束搜索作为翻译任务的标准解码，但贪心解码因其简单仍被用作训练时的快速评估基线。此时期开始注意到贪心解码在开放生成中的重复问题，但缺乏系统性解决方案。
• Transformer 及自回归大规模预训练（2017–2019）：GPT (Radford et al. 2018) 原始论文中使用的是贪心解码作为生成示例；后续 GPT‑2 展示了使用温度+top‑k 采样能极大改善文本质量，让社区意识到纯粹最大化概率策略与人类文本统计特性（分布不均匀但存在长尾）之间的错配。
• 2020 至今：OpenAI、Google 等巨头在对话产品中全面转向采样（结合 RLHF 模型改写了奖励模型，但解码端几乎全部使用采样），贪心解码退居至需要绝对确定性、可审计的工业应用（如法律文本格式化、结构化数据转文字）以及代码生成的部分场景。学术上，针对贪心解码的改进研究集中于“截断式贪心+重排”或“最小波束扩展”（仅当分布平坦时松弛）。当前，贪心解码更多被视为教学工具和极端低延迟推理的代表。

技术路线对比（量化表）

说明：Beam search 仍为确定性计算，但在实际工具中常与长度惩罚、早停等组合，不同硬件/实现可能导致微小差异；采样类策略在不设置随机种子时每次生成不同。贪心解码是以上所有策略的极端特例（温度→0，k=1，p=1且采样时间步仅取argmax）。

上下游

上游：语言模型与分词器

• 模型：任何自回归 decoder‑only（GPT 系列，LLaMA，PaLM）或 encoder‑decoder 的 decoder 部分（T5, BART）都内置输出投影层给出 logits 或 probs，贪心解码直接在其上应用 argmax。模型训练质量（损失、校准）决定了贪心解码输出的上限。模型校准不佳时，高置信度 token 很可能并非真正正确 token。
• 分词器：token 粒度（BPE vs. WordPiece vs. SentencePiece unigram）影响 argmax 的空间。例如，在 BPE 中，“amazing” 可能是一个 token，而另一模型可能拆成 “amaz”+“ing”。贪心解码对 token 选择敏感：一个错误的 token 选择会级联影响整个后续序列，尤其在多义词匹配上出错概率高。

下游：生成任务与用户体验

• 嵌入式实时系统：汽车语音指令、智能家居控制——用户期望毫秒级响应，容错率相对高，贪心解码几乎是唯一可行的方案（常联合小模型<100M 参数）。
• 开发者工具：GitHub Copilot 等代码补全系统，在特定场景（如只剩一个合法续写）下启用贪心解码以避免提示变化导致的不确定性，提升开发者信任感。
• 聊天机器人代理：一般不直接面向终端用户，但在内部测试模型是否收敛、验证提示词稳定性时，贪心解码是最基础的“确定性锚点”。
• 审计与监管：银行对账单生成、医疗报告模板填充等场景，要求输出严格可复现，贪心解码提供该属性。

关键指标

• 生成速度 (tokens/s)：贪心解码在同等硬件上通常比 top‑p 采样快 1.5–2 倍（因省去采样累积分布计算和随机数生成），比同波束宽度 beam search 快约 k 倍。具体数字因 engine 实现而异，[未充分披露标准化基准]。
• 重复率 (distinct‑n / repetition rate)：贪心解码的 2‑gram/3‑gram 重复率显著高于采样策略，在开放式文本生成任务中常 > 30%，表现为“多义退化”。
• 困惑度 (PPL)：在某些条件下贪心解码输出序列的 PPL 并非最低，因为 PPL 度量的是整句概率乘积，局部最大化未必使 PPL 最小化。波束搜索通常能给出更低的 PPL。
• 输出确定性方差：贪心解码方差恒为 0（同输入→同输出），而采样方差（用多个 seed 测）反映模型概率分布的不确定性，有益于探测模型幻觉现象。

供需与市场数据

由于贪心解码是一种算法策略而非独立产品，市场无直接统计。间接来看，驱动贪心解码需求的因子有：

• 边缘 AI 芯片与 NPU 渗透率：到 2025 年，配备专用 NPU 的手机、PC 数量预估超 10 亿台（参照 Counterpoint Research 报告；但未针对此概念给出精确数字）。这些设备运行小语言模型时，极可能默认使用贪心或温度极低的近似贪心策略，以在 <10ms 延迟内完成 next‑token 预测。
• 实时语音与翻译市场：据估算，实时翻译应用终端推理延迟要求常 ≤100ms，波束搜索很难达标，因此多数轻量级翻译引擎内部利用贪心或受限波束（k=2）。但具体份额无公开拆解。

供给端主要为推理框架（ONNX Runtime，TensorRT，llama.cpp）和云服务推理 API（如 OpenAI API 提供 temperature=0 的确定性输出）。在 API 市场中，temperature=0 调用量与采样调用量之比约 1:9（基于部分非正式社区统计，[无官方披露]），贪心解码在需要确定性输出、单元测试或结构化 JSON 生成时用量稳定。

代表公司与资本映射

• NVIDIA：TensorRT‑LLM 中提供高效 greedy_search 实现，大幅减少 beam search 的计算量。其数据中心 GPU 与 Drive 平台都在利用确定性解码优化自动驾驶等业务的实时性。
• Apple：Core ML 与 Apple Neural Engine 内置对 Transformer 自回归贪心解码的支持，用于 Siri 语音识别、键盘自动更正等本地处理，保障隐私与延迟。资本映射：苹果自研芯片的 AI 专用算力扩张直接受益于确定性解码的大量本地需求。
• Meta：LLaMA 模型开源带动社区在 llama.cpp 等工具中广泛部署贪心与采样策略。Meta 本身无直接资本映射，但开源模型生态推动高通、联发科等移动芯片厂商加速适配。
• Google：Tensor Processing Unit (TPU v5) 支持各类解码策略硬件融合。Google Cloud Vertex AI 提供温度=0 的确定性推理，用于企业级审计场景。其翻译服务依然大量使用 beam search，但轻量级模型尝试贪心 + 重排。

资本映射方向：关注推理芯片（尤其是边缘 NPU）和推理优化软件栈，贪心解码作为最小计算预算策略，是这些硬件必须吃透的核心基本操作，单位算力内生成吞吐量越高，其硬件方案越有竞争力。

投资逻辑

1. 确定性生成是刚性需求：在金融报告、医疗文书、法律文件等不可变形的场景，监管方要求算法输出可复现、可解释，贪心解码 (temperature=0) 是技术合规性的基础配置。提供此类 API 的 MaaS（Model as a Service）厂商会锁定价格不敏感的 B 端客户。
2. 边缘推理芯片的核心负载：与追求多样性的云端大模型不同，边缘设备（手表、耳机、IoT 传感器）绝大多数生成任务为信息提取和简单指令控制，贪心解码是主要执行模式。因此，能极低功耗运行 greedy_search 的 NPU IP 提供商（如 ARM Ethos‑U、SiFive Intelligence）以及集成上述 IP 的终端 SoC 原厂（高通、联发科、瑞芯微等）有望持续获益。
3. 低延迟推理基础设施：在有实时性的在线服务中，若能将部分请求用贪心解码替代波束搜索，可成倍降低服务延迟与 GPU 占用，释放更多算力用于更复杂的任务。因此，能基于请求动态选取解码策略（依据 prompt 类型、长度限制等）的推理调度系统，是评估推理基础设施产品成熟度的重要维度；相关创业公司与大云厂商的内置功能均在此方向上布局。
4. 风险：生成式 AI 主流叙事聚焦开放文本的多样性和创新性，贪心解码在消费者市场的曝光度低，纯依赖它的初创可能缺乏想象力估值；此外，如果模型能力足够强，波束与贪心输出差距极小，会导致贪心解码的技术护城河狭窄。

常见误读纠偏（≥2）

误读 1：“贪心解码生成质量总是最差，所有任务都该用采样”

正解：在高度结构化的任务中（例如代码补全，如果高置信度 token 确实正确，贪心解码准确率与波束搜索持平，且不会引入随机采样导致的语法错误）。同样，在许多分类式生成任务（输入提示 → 固定类别标签）中，模型输出分布极其尖锐，argmax 即可保证质量，采样反而会产生噪声。因此，不能一概而论，应根据任务分布熵和下游需求选定。

误读 2：“贪心解码就是始终输出概率最高的句子”

正解：贪心解码输出的是 近似 概率最高的序列，但由于其每一步都局部决策，最终生成的完整句子概率很可能远低于某个平均概率较低但因后续强依赖而整体更优的路径。这类似于爬山算法与动态规划求解最优路径的区别。贪心解码找到的是局部峰值序列，并不保证全局概率最大。若需要全局最优解，理论上必须用波束搜索或穷举，但计算不可行。

误读 3（额外）：“设置 temperature=0 就是贪心解码”

正解：在多数推理 API 实现中，temperature=0 会在 softmax 前除以一个极小的温度，导致分布中最大值趋向 1，其余趋向 0，然后取 argmax，效果与直接 argmax 等价。但极少数实现会加 epsilon 平滑避免数值下溢，严格说略有差异。即便如此，行为上等同于贪心。但要注意，如果同时设置了 top‑k 和 temperature=0，行为由库的规则决定：通常是先温度缩放再 argmax，top‑k 可能被忽略。编程时应查阅文档。

学习路径

1. 基础必读：
   • 《Speech and Language Processing》Dan Jurafsky & James H. Martin (第三版 draft)，第 10 章与第 12 章，介绍 N‑gram 与神经语言模型解码。
   • 《Deep Learning》Ian Goodfellow, Yoshua Bengio, Aaron Courville，第 12.4.3 节 (Beam Search)，以对比方式理解贪心。
2. 经典论文：
   • “Attention Is All You Need” (Vaswani et al., 2017)：Transformer 架构原始论文，其中推断部分默认使用波束搜索，但也提到贪心作为基线。
   • “The Curious Case of Neural Text Degeneration” (Holtzman et al., 2020)：深刻分析了最大化概率解码（贪心/波束）如何导致文本退化，引入 nucleus 采样，是理解为什么要超越贪心的必读文献。
   • “Language Models are Unsupervised Multitask Learners” (Radford et al., 2019) GPT‑2 论文中体验使用 top‑k 采样的生成效果。
3. 动手实践：
   • Hugging Face Transformers 库中，model.generate(do_sample=False, num_beams=1) 即为贪心解码。可在 Colab 上加载 GPT‑2 比较贪心与 do_sample=True, top_p=0.9 的输出差异。
   • 使用 transformers.GenerationConfig 调整参数，观察 temperature 设为 0.01 时与贪心输出的细微区别。
4. 进阶：
   • 阅读 inferent 和 vLLM 的贪心解码内核实现，理解 KV 缓存与内存管理。
   • 研究对比损失与解码策略的耦合：有些研究建议在训练时就用与推理时一致的解码策略进行微调，以缓解贪心退化。

一句话总结

贪心解码是生成式 AI 的“经济档”：计算开销最低、确定性最强，但牺牲了文本多样性和全局最优性，在实时、结构化、可审计场景中不可替代。

延伸阅读与来源

（因检索条件有限，以下为公认高质量知识源，建议读者直接查询验证）

• Transformer 原文：Vaswani A. et al., “Attention is all you need”, NeurIPS 2017.
• 文本退化分析：Holtzman A. et al., “The Curious Case of Neural Text Degeneration”, ICLR 2020.
• Hugging Face 课程：Hugging Face NLP Course, Chapter 5: “How to generate text” — 包括贪心、波束、采样的可视化与代码。
• 在线演示：使用 huggingface.co/spaces 上的文本生成 demo，切换解码策略观察效果，如 gpt2-large 空间。
• Stanford CS224N 自然语言处理课程：2019–2021 期关于生成解码的课件，提供原理概述和实验比较。