Classifier-free Guidance

1 3 秒看懂

Classifier‑Free Guidance（CFG）是一种最常用于扩散模型的采样技巧。它在生成时混合“有条件预测”与“无条件预测”的信号，从而在不额外训练分类器的情况下大幅提升生成内容与提示词的一致性。你可以这样理解：让模型既画“一匹马在草地上奔跑”，又让它自由发挥“任意一张画”，然后把两种想象的差距放大，再叠加上自由画，就能得到更贴合描述的画面。这个机制已是 Stable Diffusion、DALL·E 等图像与视频生成系统的基石。

2 3 分钟产业解释

在扩散模型推理过程中，每一步模型都要预测待去除的噪声（或直接预测干净样本）。如果该预测完全依赖文本提示（有条件生成），结果容易被“用力过猛”而导致失真；如果完全忽略提示（无条件生成），图像虽然自然却不听指令。CFG 引入一个混合系数（引导强度 w）将两者线性组合：预测 = 无条件预测 + w × (有条件预测 - 无条件预测)。当 w=1 时退化为标准有条件生成；当 w>1 时，模型被“推向”更服从提示的方向，同时保留一定的自然感。

在产业中，CFG 几乎是一切扩散模型产品（文生图、文生视频、音频生成等）质量调优的核心旋钮。它使得同一份模型无需重新训练就能自由调节“按指令作画”与“天马行空”之间的平衡，极大释放了预训练基础模型的应用价值。从几十亿参数的 Stable Diffusion 开源模型到封闭的 Midjourney、DALL·E，所有主流系统的用户可感知“听话程度”背后，都有 CFG 的影子。同时，CFG 使每一次采样都需要近乎双倍的前向计算，形成巨大的推理算力消耗，因此它也深刻影响着 AIGC 产品的算力成本结构与工程优化方向。

3 技术原理

扩散模型采样回顾

设扩散前向过程为 x_t = sqrt(α̅_t) x_0 + sqrt(1 - α̅_t) ε。采样反向过程时，一个噪声预测网络 ε_θ(x_t, t) 或 ε_θ(x_t, t, c) 被训练来估计注入的噪声 ε。典型的 DDPM 采样步骤可以简化为：

x_{t-1} = 1/√(α_t) · (x_t - (1-α_t)/√(1-α̅_t) · ε_θ) + σ_t z

其中 c 是条件（如文本嵌入），t 是时间步。

Classifier Guidance 原理（对比）

早期的 Classifier Guidance 试图最大化条件概率 p(c|x_t)。在采样时，将条件概率对数的梯度加入噪声预测：

ε̂_θ = ε_θ(x_t, t) - √(1-α̅_t) · s · ∇_{x_t} log p_φ(c|x_t)

这里 s 是引导尺度，p_φ 是额外训练的分类器。这种方法的主要局限是需要为一个噪声依赖的分类器单独采集数据并训练，且对复杂条件（如自由文本）很难获得可靠的噪声级别分类器。

CFG 核心公式

CFG 完全绕开额外分类器，利用扩散模型在训练时已见过的有条件与无条件样本，采样时直接进行外推：

ε̂_θ(x_t, t, c) = ε_θ(x_t, t, ∅) + w · ( ε_θ(x_t, t, c) - ε_θ(x_t, t, ∅) )

• ∅ 表示空条件（通常为全零嵌入或专用空令牌）。
• w 是引导强度（guidance scale），通常 w ≥ 1。
• 当 w=1 时等价于普通条件采样；当 w>1 时，相当于沿 (ε_cond - ε_uncond) 方向外推。

隐式梯度视角

可以证明 (ε_cond - ε_uncond) 近似正比于隐式分类器 p(c|x_t) 的得分函数（score function）：

∇_{x_t} log p(c|x_t) ∝ ε_θ(x_t, t, c) - ε_θ(x_t, t, ∅)

因此 CFG 实际上在执行一种模型内置的 classifier guidance，分类器由生成网络自身的参数表达，不再需要额外模型。这一性质使得 CFG 在理论上等价于对条件概率密度的指数级重加权，能有效缓解扩散模型中“平均化”导致的保真度与控制力的冲突。

训练与采样实现细节

训练阶段：在每次迭代中，以一定概率 p_uncond 将原始条件 c 替换为空条件 ∅。文献中典型取值为 0.1~0.2（例如 Ho & Salimans, 2021），但没有统一最优值，具体取决于数据规模、条件复杂度和模型结构。这样做能够使同一网络在“有提示”和“无提示”两种模式下都学会准确去噪。

采样阶段：每步需执行两次网络前向，一次带条件，一次带空条件。通常采用“分批联合计算”策略：将两者拼成一个批次送入网络，在现代加速器上可实现接近零额外开销的并行。一些系统还通过缓存无条件预测、跳跃更新等方式进一步压降延迟。伪代码示意：

def sampling_step(model, x_t, t, c, w):
    c_batch = torch.cat([c, c_null])
    eps = model(x_t.repeat(2,1,...), t.repeat(2), c_batch)
    eps_cond, eps_uncond = eps.chunk(2)
    eps_guided = eps_uncond + w * (eps_cond - eps_uncond)
    # 继续采样...

多条件扩展：当条件包含多个模态（如文本+分割图），CFG 可推广为在所有条件子集上加权混合，形成组合 CFG，实现更精细的控制。

4 关键参数

• 引导强度 w：最直接影响用户体验的参数。过低（如接近 1）会导致生成内容与提示关联弱；过高（如超过 15）则常引起色彩过饱和、伪影突增、多样性下降，甚至出现模式坍塌。不同模型和版本的最佳区间不同，Stable Diffusion 社区常用默认值 7.5，而部分产品经专门调优后可在 5~10 之间获得较好平衡（公开资料无统一标准，均来自社区经验）。
• 条件丢弃概率 p_uncond：训练阶段的关键超参。其决定了模型在无条件模式下的能力，进而影响采样时 CFG 的最优工作范围和最大可用 w。该值过小则无条件分支预测不准，CFG 失效；过大则可能侵占条件预测能力。各团队通常将其作为私有的调优秘密，公开的推荐值多见于扩散模型库的默认配置中（如 Hugging Face Diffusers 的某些训练脚本使用 0.1）。
• FID（Fréchet Inception Distance）：综合度量生成图像的保真度和多样性，是评估 CFG 调参效果的常用基准。数值越低代表质量越高。实践中通常会绘制 FID 随 w 变化的曲线以选择最优工作点。
• CLIP Score / 语义相似度：衡量生成图像与输入文本的语义对齐程度。CFG 提升的主要目标就是提高该分数，但伴之而来的往往是 FID 先降后升，存在最优折中。
• 采样延迟与吞吐：由于 CFG 需要近乎双倍的网络前向，单步延迟约为无引导的 1.8～2.0 倍（工程实现依赖批处理效率，为经验估算）。生产环境中更关心单卡吞吐量（images/sec/GPU），CFG 使推理计算量直接翻倍，成为算力规划的重点。
• 梯度尺度与外推稳定性：理论上 w 通过放大 (ε_cond - ε_uncond) 来增强条件信号，该差值在高噪声阶段可能极不稳定。一些工程方案会引入动态 w（如早期低、后期高）或对差值进行裁剪以防止数值发散，但尚无统一标准。

5 技术路线

CFG 本身已衍生出多条演变路线，并与传统 Classifier Guidance 形成鲜明对比：

近年的技术变体不断涌现：

• 动态 CFG：在采样不同阶段使用不同 w（如早期低、后期高），或以输入条件复杂度自适应调节，旨在平衡保真度与指令遵从度。
• 引导蒸馏：通过将 CFG 的双路径网络蒸馏为单路径学生网络，在保留控制力的同时将推理成本降低约一半。相关思想在“Progressive Distillation for Fast Sampling”等工作中得到探讨。
• 一致性模型与 CFG 结合：部分 2023‑2024 年的工作试图将一致性蒸馏与 CFG 结合，实现少步甚至单步采样下的可控生成，推动实时应用。
• 多分辨率 CFG：在不同噪声尺度上应用不同的引导策略，以减少高 w 造成的低频伪影。

这些路线共同指向一个目标：在保持或提升控制力的前提下，尽可能压缩 CFG 带来的额外计算开销和质量代价。

6 上游

CFG 的上游主要由要素和基础设施构成：

1. 扩散模型预训练：基础模型必须在大规模图文对（如 LAION‑5B）上训练，以具备良好的文本‑图像对齐能力。训练过程的稳定性和条件嵌入质量直接决定 CFG 生效的上限。
2. 文本编码器：如 CLIP ViT‑L/14、OpenCLIP、T5‑XXL 等，其输出的语义嵌入作为条件 c。编码器的语义理解能力越强，CFG 的引导方向越准确，高 w 下的副作用越小。
3. 无条件/条件混合训练策略：上游数据管道和训练框架需要支持按概率丢弃条件，并保证空条件的嵌入与模型兼容。这是实施 CFG 的前置必要条件，已嵌入主流框架（如 Hugging Face Diffusers）的训练流程。
4. 计算基础设施：大规模 GPU 集群（NVIDIA A100/H100 等）为训练提供算力；而推理阶段因 CFG 引入的双倍前向需求，对高吞吐低延迟的推理加速卡和软件栈提出了更高要求。
5. 数据质量与多样性：训练数据的文本描述丰富程度和图像内容多样性会直接影响 CFG 的泛化表现。上游数据策展越精细，下游 CFG 的可调范围越宽。

7 下游

CFG 已成为众多生成式 AI 产品中控机制的核心一环，典型下游包括：

• 文生图：Stable Diffusion 生态（Automatic1111、ComfyUI 等）、Midjourney、DALL·E 等，均以 CFG 作为主要的质量调节旋钮，用户可通过滑块直接控制“听话程度”。
• 文生视频：Runway Gen‑2/Gen‑3、Pika、Stable Video Diffusion 等产品在视频生成的每一帧或整体采样中广泛使用 CFG，以维持时间一致性与文本语义的平衡。
• 音频与音乐生成：部分扩散音频模型（如 AudioLDM、MusicLDM）引入 CFG 来增强生成音频与文本描述（如“雨天的钢琴曲”）的对齐，但其调参比图像更敏感。
• 3D 资产生成：以文本或图像为条件的 3D 扩散模型（如 Zero‑1‑to‑3、MVDream）使用 CFG 来保持多视角一致性，同时遵循输入描述。
• 合成数据增强：在自动驾驶、医学影像等领域，利用 CFG 生成高精度条件化的合成数据，用于下游任务训练。
• 交互式编辑工具：Photoshop 生成式填充、Canva AI 等通过 CFG 让用户用文本精确控制局部重绘或扩展，实现所见即所得。

在下游产品中，CFG 的实际表现还取决于采样步数、调度器类型（DDIM、DPM‑Solver、Euler 等）以及后处理模块的配合，这构成了各个厂商差异化的调优空间。

8 受益公司

以下主体直接或间接受益于 CFG 技术及其驱动的算力需求，注意此处仅为产业格局描述，不构成任何投资建议或价值判断：

• Stability AI：旗下 Stable Diffusion 系列完全依赖 CFG，是最广泛使用的开源文生图载体。开源生态围绕 CFG 衍生出大量工具与插件，强化了其社区地位。
• OpenAI：DALL·E 系列在其商业化 API 中深度集成 CFG（结合改进的采样策略），该技术是其图像生成质量竞争力的核心要素之一。
• Midjourney：作为封闭商业产品，其高度风格化且一致性强的图像生成，很大程度源于对 CFG 调度、条件嵌入与社区反馈的精细优化，支撑其订阅业务。
• Runway：在企业级视频生成中依靠 CFG 实现可控性，使其工具在创意产业中获得差异化优势。
• Google：Imagen 系列等科研与产品线运用 CFG 变体，并持续输出相关论文，影响下一代模型架构。
• Meta：Make‑A‑Scene 等研究项目同样应用 CFG，并在开源领域与合作伙伴共建生态。
• 云基础设施与硬件厂商：NVIDIA、AMD 等 GPU 供应商，以及 AWS、GCP、Azure 等云平台，因 CFG 推动推理算力需求翻倍而直接受益于生成式 AI 规模化部署。专门从事推理优化的软件公司（如 OctoML、TensorRT 相关生态）也从中获得了持续优化的业务场景。

9 市场规模

CFG 作为一项算法技术，本身不构成独立的商品市场，没有直接的“CFG 市场规模”统计。然而，它在生成式 AI 推理成本中占据显著比例，随整体产业扩张而放大：

• 生成式 AI 整体市场：多项第三方研究报告显示，全球生成式 AI 市场正经历高速增长。例如，Grand View Research 在 2023 年发布的报告估计，2023 年全球生成式 AI 市场规模约为 438.7 亿美元（来源：Grand View Research, “Generative AI Market Size, Share & Trends Analysis Report, 2023‑2030”）。Bloomberg Intelligence 在 2023 年预测，到 2032 年生成式 AI 市场可能达到 1.3 万亿美元。尽管具体数值因机构而异，但共识是需求正处于爆发期。
• CFG 算力消耗占比：在典型的文生图推理中，CFG 需要两次前向传播，约占单次采样总计算量的 50%–70%（定性估算，公开资料未见精确测试数字）。据此可以推断，生成式图像/视频推理的算力市场中，约一半以上直接由 CFG 所驱动。
• 开源工具生态：Hugging Face Diffusers 库作为最主流的扩散模型推理框架之一，截至 2024 年已有超过数百万的月下载量（可参考 PyPI 统计），其中 CFG 为流水线的默认组成部分，进一步反映了该技术的渗透度。
• 缺乏独立数据：由于 CFG 仅被视作一项内置功能，尚无研究机构发布专门针对 CFG 的 TAM（Total Addressable Market）或 SAM（Serviceable Available Market）测算。公开资料未见对 CFG 直接产生的经济价值的单独量化。

10 玩家对比

围绕 CFG 的实际运用，不同团体在产品化、参数策略、优化方向上存在明显差异：

• Stable Diffusion 社区：以开源模型为基础，默认 guidance_scale 常设定为 7.5。用户可通过 WebUI（如 Automatic1111）自由调整，且社区积累了大量的经验性“最佳区间”。由于模型和文本编码器公开，第三方可自行设计动态 CFG 方案或引导蒸馏实验，生态最为活跃。
• Midjourney：封闭系统，其 CFG 策略从未公开披露。从输出表现看，Midjourney 在保持高语义对齐的同时，过饱和和扭曲伪影相对较少，这暗示其可能采用了自适应或阶段化的引导调度，并与专有的文本编码及美学评分模型深度耦合。
• OpenAI DALL·E：通过 API 提供服务，公开文档并未详细说明引导强度的实现，但其输出通常一致性很高且多样性适中。据零星的用户推断，DALL·E 可能使用了内部优化的 CFG 结合后处理过滤，以在安全合规与创意之间取得平衡。
• Runway：侧重于视频生成，CFG 除用于单帧图像控制外，还需在时间维度上维持连贯。其技术白皮书和博客曾提及使用 CFG 对视频潜变量进行全局引导，并配合光流一致性损失，这显著区别于纯图像系统的单帧引导。
• Google Imagen：研究论文中常采用动态阈值 CFG（如“Dynamic Thresholding”）来遏制高 w 下的颜色过饱和，形成了独特的技术风格。Imagen 在训练时使用更大比例的文本条件丢弃，以提升无条件分支的可靠性，这一点在其公开论文中有明确提及。
• Meta Make‑A‑Scene：强调可控布局与分割图条件，其 CFG 通常与布局、掩膜等多模态条件结合，展示了组合 CFG 在细粒度控制上的优势。

整体而言，CFG 的基础原理已完全开源民主化，产品级差异主要来源于条件嵌入质量、调度器设计、后处理链条以及与社区反馈的闭环优化。

11 风险

• 质量‑多样性权衡：高 w 极易导致模式坍塌，不同提示可能输出高度相似的构图与色调，损害创意多样性。对于需要大量差异化素材的下游应用（如广告设计、游戏资产），这种多样性损失可能严重影响价值。
• 过饱和与伪影：大量实践表明，CFG 放大了低频色彩偏差，常引起不自然的鲜艳色调和结构性伪影。虽然可通过后处理缓解，但会引入额外的工程复杂度和延迟。
• 推理成本倍增：双前传机制使每次采样的算力需求接近翻倍，在百万级用户规模的在线服务中，这意味着高昂的 GPU 租赁成本和能耗。任何需要实时或高并发的场景，CFG 的成本障碍不可忽视。
• 训练条件依赖性：CFG 极度依赖训练时恰当的条件丢弃。如果训练数据中条件覆盖率偏低，或丢弃概率设置不当，无条件分支的输出将质量低下，导致 CFG 完全失效。对于采用已凝固模型进行下游微调的场景，这种依赖可能成为隐性陷阱。
• 评估偏差：常用的 CLIP Score 和 FID 在指导调参时可能产生误导。过度优化 CLIP Score 会驱使工程师选择过高的 w，而 FID 的改善可能以牺牲少数类生成质量为代价。缺乏更细粒度的评估工具，会使产品优化进入局部极值。
• 安全与合规：高引导强度可能放大训练数据中的偏见或不当内容，因为模型更顽固地执行提取出的条件模式。在内容受强监管的行业中，CFG 参数的选择需要与安全过滤机制协同设计，否则可能引发合规风险。

12 误读纠偏

• 误读 1：“CFG 同时提升多样性与一致性。” 正解：CFG 通常以牺牲多样性为代价换取一致性。较高的 w 会使模型倾向于产生极符合条件但缺乏变化的结果，表现为不同提示却输出相似的构图和色调。任何声称无需权衡的说法都是对现有文献和工程实践的误读。

• 误读 2：“CFG 只是简单相加，任何扩散模型都能即插即用。” 正解：CFG 的有效性严重依赖训练阶段是否对条件进行了随机丢弃，且要求模型在有无条件模式下均具备准确去噪的能力。如果模型从未见过空条件，无条件预测会输出无意义的噪声，导致 CFG 完全失效。此外，条件嵌入层的架构也会影响外推行为。

• 误读 3：“CFG 导致的颜色过饱和是不可避免的。” 正解：过饱和是训练数据分布和损失函数下引导强度放大了低频色彩通道偏差的结果，并非 CFG 固有缺陷。通过动态 w 调度、感知损失微调或后处理（如动态阈值裁剪），可以在很大程度上缓解该问题，许多现代系统已经在这样实践。

• 误读 4：“w 越大越好。” 正解：w 增大虽可提升指令遵从度，但超过一定临界值后，FID 会急剧恶化，图像出现严重伪影和结构崩坏。实践中必须通过系统性的量化评估（如扫描 FID vs CLIP Score 的帕累托前沿）来选择 w，而不是无休止调高。

13 最新事件

• 2023 年 7 月：Stable Diffusion XL (SDXL) 发布，其中对 CFG 的行为进行了重新校准，并建议使用更温和的默认引导强度（社区经验值约 5），以减少过饱和和模式坍塌现象，体现了工业界对 CFG 参数调优的经验累积。
• 2023 年底：一致性蒸馏技术受到关注，多个团队在 ICLR 2024 和 CVPR 2024 的投稿中探讨了将一致性模型与 CFG 相结合，试图在 1‑4 步的极限少步采样下仍保持可控性。例如，LCM‑LoRA 等工作的扩散版本已开始集成简化的 CFG 逻辑（来源可见公开发布的论文预印本）。
• 2024 年初：引导蒸馏取得进展。研究界提出多种将 CFG 双路径网络蒸馏为单路径学生模型的方案，部分成果报告在保留 90% 以上控制力的前提下将推理延迟降低约 40%‑50%（如 “Distilled CFG for Efficient Conditional Image Generation” 等预印本，来源：arXiv）。
• 2024 年 5 月：Hugging Face Diffusers 库更新，进一步增强了对动态 CFG 调度和组合引导的内置支持，使开发者在生产环境中可以更方便地试验按时间步、按空间区域施加不同引导强度的策略。
• 2024 年：视频生成爆炸式发展，OpenAI Sora（技术报告公开于 2024）以及 Luma、Dream Machine 等视频产品虽未直接公开技术细节，但业界普遍分析认为，它们在关键生成阶段采用了某种形式的 CFG 或其扩展，以维持长达数十秒的时间序列与文本描述的对齐（公开资料未见确切证据，仅系行业分析推断）。
• 持续探索：学术界仍在积极寻找替代 CFG 的途径，如通过修改训练目标直接最小化条件与无条件分布间的能量差，或使用强化学习反馈替代外推引导。部分工作在 NeurIPS 2024 的投稿中可见，尚未形成稳定技术派系。

14 跟踪指标

对于关注 CFG 技术发展和产品效果的观察者，可从以下维度进行持续跟踪：

• FID（Fréchet Inception Distance）：最通用的生成质量指标。建议关注主流模型在不同 w 下的 FID 曲线，以及各产品更新后是否在同等语义对齐程度下取得更低 FID。
• CLIP Score / SigLIP Score：用于衡量图像‑文本对齐度。可对比同一提示集在不同系统和参数下的 CLIP Score 变化，但需警惕该指标的饱和问题。
• IS（Inception Score）：虽然使用渐少，仍可作为多样性的辅助衡量。在高 w 下是否有 IS 骤降，可提示模式坍塌程度。
• 推理延迟与吞吐：直接反映 CFG 算力消耗的指标，通常以每张图像在特定 GPU（如 A100）上的生成时间（ms/image）或每秒生成图像数（img/sec）为单位。随着蒸馏和工程优化的推进，该指标的变化值得持续追踪。
• 引导强度默认值变迁：社区和厂商推荐的默认 w 数值本身可作为一项软指标，反映模型、数据和训练策略的综合进化。例如，SDXL 相对于 SD1.5/2.1 逐渐降低了推荐 w，表明模型基础对齐能力的提升。
• 人类偏好胜率（ELO/Comparison Scores）：第三方评测平台（如 Parti Prompts 的盲测）会定期发布不同的模型在人评中的对比结论，CFG 优化最终会体现在这些偏好数据中。
• 新研究发表与专利：关注arXiv上关于“guidance distillation”“dynamic CFG”“classifier‑free guidance video”等关键词的论文频次，以及各科技企业在该方向的专利申请情况，可感知技术热度与商业化意图。

15 信源

• 核心论文：Ho, J. & Salimans, T. (2021). Classifier‑Free Diffusion Guidance. NeurIPS 2021 Workshop on Deep Generative Models.
• 前置工作：Dhariwal, P. & Nichol, A. (2021). Diffusion Models Beat GANs on Image Synthesis. NeurIPS 2021.
• 扩散模型综述：Yang, L. et al. (2023). Diffusion Models: A Comprehensive Survey of Methods and Applications. ACM Computing Surveys.
• 开源实现：Hugging Face Diffusers 库（https://github.com/huggingface/diffusers）内 guidance_scale 参数文档与源代码。
• SDXL 技术报告：Podell, D. et al. (2023). SDXL: Improving Latent Diffusion Models for High‑Resolution Image Synthesis. arXiv:2307.01952.
• Imagen 动态阈值：Saharia, C. et al. (2022). Photorealistic Text‑to‑Image Diffusion Models with Deep Language Understanding. NeurIPS 2022.
• 市场数据：Grand View Research (2023), Generative AI Market Size, Share & Trends Analysis Report, 2023–2030；Bloomberg Intelligence (2023), Generative AI to Become a $1.3 Trillion Market by 2032.
• 注：本文中所有涉及具体数值的产业数据均已标注来源及年份，无来源的数值均标注为“估算”或“公开资料未见”。技术原理部分基于公认论文及开源实现，未引用任何涉密内容。