轨迹（Trajectory）

3 秒看懂

轨迹 = 智能体或系统在时序上的一条完整交互路径。 在强化学习中是一条 (状态, 动作, 奖励) 序列；在自动驾驶中是对未来运动路径的预测；在扩散模型中是从噪声到数据的生成路径。它是连接”单步决策”与”全局优化”的桥梁，也是当前 LLM 强化学习微调（RLHF/GRPO）的核心计算单元。

3 分钟产业解释

为什么”轨迹”突然成为产业热词？

2024–2025 年，AI 产业有两条主线同时将”轨迹”推上中心舞台：

主线一：LLM 强化学习微调（RL for LLMs）

大语言模型从”预训练 → SFT → RLHF”的经典范式，演进到 DeepSeek-R1 所代表的”纯 RL / GRPO”路径。在这条路径中，模型生成的**完整回答（completion）**就是一条”轨迹”——它不再只看单个 token 的 reward，而是对整条轨迹做相对比较。这意味着：

• 每次训练迭代需要生成大量完整轨迹
• 推理阶段的算力消耗大幅增加（需要多次 rollout）
• 轨迹级别的奖励信号比 token 级别更稀疏但更”对齐”

主线二：自动驾驶的轨迹预测与规划

自动驾驶的感知-预测-规划管线中，“轨迹预测”是核心环节——系统需要为周围每个交通参与者预测未来 3–8 秒的运动轨迹。端到端自动驾驶（如特斯拉 FSD v12+ 范式）进一步将感知、预测、规划统一为一个模型的”轨迹输出”。

产业规模直觉： 仅 LLM RL 微调方向，据行业估算，训练阶段的推理算力消耗可达预训练的 10%–30% 量级 [行业估算]，且随 GRPO 等轨迹级方法普及，该比例仍在上升。

15 分钟专家深入

一、轨迹在 LLM 强化学习中的角色

核心问题： 如何让 LLM 在没有逐步标注的情况下学会推理？

传统 RLHF（PPO）的做法：

Prompt → 模型生成完整 response（一条轨迹 τ）
→ Reward Model 对完整 response 打分
→ 通过 PPO 的 GAE（广义优势估计）将轨迹级奖励分配到每个 token
→ 策略梯度更新

DeepSeek 提出的 GRPO 做法更简洁：

Prompt → 模型生成 G 条完整轨迹 {τ₁, τ₂, ..., τ_G}
→ 对每条轨迹计算 reward（可以是规则化的）
→ 在 G 条轨迹之间做相对比较（组内归一化）
→ 直接用轨迹级优势做策略梯度，无需 Critic 网络

关键区别：

轨迹质量的”涌现”效应： 当模型经过足够多轮轨迹级 RL 训练后，会出现类似”思维链涌现”的现象——模型自发学会在轨迹中插入验证步骤、回溯、自我纠正。这不是逐步监督出来的，而是轨迹级奖励筛选出来的 [机制性解释，非硬数据]。

二、轨迹在自动驾驶中的定义

在自动驾驶语境下，“轨迹”通常指：

• 运动轨迹（Motion Trajectory）： 物体在未来 T 个时间步的 (x, y, θ) 序列，通常以 0.1–0.5 秒为间隔，预测时域 3–8 秒
• 规划轨迹（Planning Trajectory）： 自车未来行驶的 (x, y, θ, v) 序列，需要满足动力学约束、碰撞安全、交通规则

技术栈：

感知 → 目标检测 + 跟踪 → 每个目标的当前状态
    → 轨迹预测模块 → 输出多模态轨迹分布（多条候选）
    → 规划模块 → 自车轨迹（在候选中选最优/做优化）
    → 控制模块 → 执行

端到端范式的变化： 特斯拉 FSD v12 等端到端方案将上述管线压缩为一个神经网络，直接从传感器输入映射到规划轨迹，省去显式的中间表示。这使得”轨迹”从一个中间预测目标变成了模型的最终输出。

三、轨迹在扩散模型/Flow Matching 中的含义

在生成模型领域，“轨迹”指数据从噪声状态到目标分布的变换路径：

• 扩散模型（Diffusion）： 前向过程逐步加噪形成一条”破坏轨迹”，反向过程学习一条”生成轨迹”
• Flow Matching： 显式定义从噪声到数据的连续轨迹（向量场），比扩散更直接

这里”轨迹”的物理直觉是：生成过程不是一步到位，而是沿着一条精心设计的路径”走”过去。

技术原理（最深一层）

1. 强化学习中的轨迹数学定义

轨迹 τ = (s₀, a₀, r₀, s₁, a₁, r₁, ..., s_T, a_T, r_T)

其中:
  s_t ∈ S    状态空间
  a_t ∈ A    动作空间
  r_t ∈ R    即时奖励
  T          轨迹长度（LLM 中 = response token 数）

轨迹的回报（return）:
  G(τ) = Σ_{t=0}^{T} γ^t · r_t    (γ ∈ [0,1] 为折扣因子)

策略梯度（REINFORCE）:
  ∇_θ J(θ) = E_{τ~π_θ} [ Σ_t ∇_θ log π_θ(a_t|s_t) · G_t ]

其中 G_t 为从时刻 t 开始的累积奖励（return），衡量"从当前状态开始预期的累积回报"。

2. GRPO 的轨迹级优势估计

GRPO 核心流程（伪代码）:

    for each prompt x in batch:
        生成 G 条轨迹: {y₁, y₂, ..., y_G} ~ π_θ_old(·|x)
        计算每条轨迹奖励: {R₁, R₂, ..., R_G}

        组内归一化:
            Â_i = (R_i - mean(R)) / std(R)    # 组内相对优势

        策略梯度更新 (clipped surrogate):
            r_i(θ) = π_θ(y_i|x) / π_θ_old(y_i|x)        # 重要性采样比率
            L = - 1/G Σ_i min( r_i(θ) · Â_i,
                               clip(r_i(θ), 1-ε, 1+ε) · Â_i )
                + β · KL(π_θ || π_ref)                 # KL 惩罚防过拟合

G 的取值影响：

• G 越大 → 奖励估计方差越低 → 但推理成本线性增长
• 实践中 G 的取值因任务而异 [具体数值因厂商/论文而异，通常在 4–64 范围]

3. 自动驾驶轨迹预测的典型架构

输入: 历史轨迹序列（每个 agent 过去 N 步的 (x, y)）
      HD Map 信息
      → 编码器（Transformer / GNN）
      → 多模态解码器
输出: K 条候选未来轨迹，每条附概率
      {τ₁, p₁}, {τ₂, p₂}, ..., {τ_K, p_K}
      其中每条 τ_k = {(x₁,y₁), (x₂,y₂), ..., (x_T,y_T)}

常用评价指标:
  - ADE (Average Displacement Error): 平均位移误差
  - FDE (Final Displacement Error): 终点位移误差
  - MR (Miss Rate): 漏检率（终点误差 > 阈值的比例）

4. 扩散/Flow 中的轨迹

扩散模型（简化版）:

前向轨迹（加噪）:
  x_t = √(ᾱ_t) · x₀ + √(1-ᾱ_t) · ε,  ε ~ N(0,I)
  t: 0 → T (干净 → 纯噪声)

反向轨迹（生成）:
  从 x_T ~ N(0,I) 出发
  逐步去噪: x_{t-1} = f_θ(x_t, t)
  经过 T 步回到 x₀（干净数据）

Flow Matching:
  定义从噪声 p₁ 到数据 p₀ 的连续路径:
  dx_t = v_θ(x_t, t) dt
  网络 v_θ 学习的是"沿轨迹的速度场"

技术演进史

技术路线对比

LLM RL 微调中的轨迹处理方式对比

自动驾驶轨迹预测方法对比

上下游

上游（供给端）                          下游（需求端）
┌─────────────────┐                ┌──────────────────┐
│ 算力基础设施      │                │ LLM 公司          │
│  · 推理芯片      │──── 轨迹生成 ───│  · OpenAI/DeepSeek │
│  · 高带宽内存    │     算力需求    │  · Meta/Google     │
│  · 互联网络      │                │  · Anthropic       │
├─────────────────┤                ├──────────────────┤
│ 数据与仿真       │                │ 自动驾驶           │
│  · 驾驶日志      │──── 轨迹数据 ───│  · Tesla/Waymo     │
│  · 仿真环境      │     供给       │  · 华为/小鹏/蔚来  │
│  · 合成数据      │                │  · 百度 Apollo      │
├─────────────────┤                ├──────────────────┤
│ 算法框架         │                │ 机器人             │
│  · RL 框架       │──── 轨迹优化 ───│  · Figure/1X       │
│  · 扩散策略      │     方法论      │  · 宇树/智元       │
│  · vLLM/TRT-LLM │                │  · Tesla Optimus   │
└─────────────────┘                └──────────────────┘

关键指标

LLM RL 轨迹优化

自动驾驶轨迹预测

供需与市场数据

需求侧驱动力

1. LLM RL 微调的推理算力需求爆发

• 据行业估算，DeepSeek-R1 类纯 RL 训练方案中，训练阶段的推理调用量远超传统 SFT [行业估算，未有厂商精确披露]
• GRPO 等方法要求每步生成多条完整轨迹，推理成本与 G 成正比
• 这直接拉动了推理芯片、KV Cache 优化、推理框架的需求

2. 自动驾驶轨迹预测的规模化部署

• L4 级自动驾驶的落地进程推动高精度轨迹预测需求
• 端到端方案对模型容量和推理延迟提出更高要求
• 据行业估算，全球自动驾驶软件市场规模在 2025 年处于数百亿美元级别 [行业估算，口径差异大]

3. 具身智能/机器人轨迹规划

• 人形机器人产业兴起（Figure、特斯拉 Optimus、国内多家厂商）
• Diffusion Policy 等基于扩散轨迹的机器人动作生成方案受到关注
• 仍处于早期，商业化规模有限

供给侧约束

• 推理算力瓶颈： 轨迹级 RL 训练的推理需求成为新瓶颈，对推理芯片、显存容量、批处理效率提出挑战
• 轨迹数据质量： 自动驾驶高质量轨迹数据的采集和标注成本高
• 仿真环境成熟度： 合成轨迹数据的保真度仍是开放问题

代表公司与资本映射

投资逻辑

逻辑一：推理算力受益（确定性较高）

轨迹级 RL 训练（GRPO 等）大幅提升训练阶段的推理消耗。这意味着：

• 推理芯片需求增长的斜率可能被低估
• 推理优化技术（Speculative Decoding、KV Cache 压缩、MoE 负载均衡）的价值凸显
• 关注： NVIDIA（推理卡）、推理框架生态、HBM 供应商

逻辑二：自动驾驶落地加速（中期逻辑）

端到端自动驾驶将”轨迹”从中间输出变为最终输出，对模型容量、数据闭环、仿真能力提出更高要求。轨迹预测精度直接关系安全性。

• 关注： 具备端到端能力的智驾方案商、高算力域控芯片、高质量驾驶数据

逻辑三：具身智能长期想象空间（早期）

Diffusion Policy 等基于轨迹生成的机器人控制范式正在从学术走向工程化，长期来看”通用轨迹规划器”可能成为具身智能的核心能力层。

• 关注： 仍处于早期跟踪阶段，商业化拐点尚远

风险提示

• GRPO 等方法对可验证奖励的依赖限制了其在开放域任务的应用范围
• 端到端自动驾驶的安全验证仍是开放难题
• 具身智能轨迹规划的 sim-to-real gap 仍大

常见误读纠偏

❌ 误读一：“GRPO 完全不需要 reward model”

纠偏： GRPO 去掉的是 Critic（价值网络），不是 reward model。DeepSeek-R1 在数学/代码等可验证任务上用规则化奖励（如答案是否正确）替代了显式 RM，但这一做法仅适用于有明确验证标准的任务。对于开放域对齐，仍然需要某种形式的奖励信号（可能是 RM，也可能是人类偏好标注）。将”不需要 Critic”混同于”不需要任何奖励设计”是常见误解。

❌ 误读二：“轨迹级 RL 比 token 级 RL 更优越”

纠偏： 两者各有适用场景，不存在绝对优劣。轨迹级方法（如 GRPO）在奖励信号天然为轨迹级时更自然、更简洁；但在需要精细信用分配（credit assignment）的场景下，token 级方法（如 PPO + GAE）可能更高效。例如，一个长推理链中仅有一步关键错误时，轨迹级奖励可能无法精确指出问题所在，而 token 级价值估计可以。具体选择取决于任务特性。

❌ 误读三：“自动驾驶的轨迹预测就是预测一个 (x,y) 序列”

纠偏： 现代轨迹预测系统输出的是多模态概率分布——多条候选轨迹，每条附概率值，反映不确定性。单一回归输出无法处理”路口处车辆可能左转也可能直行”这类多模态未来。此外，轨迹预测还需考虑交互性（多智能体博弈）、物理约束（车辆动力学）、地图约束（车道拓扑）等。

❌ 误读四：“扩散模型的生成轨迹是随机的、不可控的”

纠偏： 扩散模型的反向去噪轨迹虽然从随机噪声起始，但由学习到的得分函数/速度场引导，是确定性的（给定噪声和模型参数后轨迹唯一）。通过 Classifier Guidance、Classifier-Free Guidance 等技术，可以显式控制生成轨迹的方向（如风格、语义条件）。在机器人领域，Diffusion Policy 生成的动作轨迹还需要投影到可行动作空间以满足物理约束。

学习路径

入门级（建立直觉）

1. 强化学习基础中的轨迹概念： 任意经典 RL 教材（Sutton & Barto）的 MDP/Episode 章节
2. LLM RLHF 流程概述： InstructGPT 原始论文 (Ouyang et al., 2022)，理解 response 作为”轨迹”的角色
3. 自动驾驶轨迹预测综述： 搜索近期 survey paper（如 “Motion Forecasting” 相关综述），了解问题定义和评价指标

进阶级（理解机制）

4. PPO 与 GAE： Schulman et al. (2017) 原始论文，理解轨迹采集 → 优势估计 → 策略更新的完整流程
5. GRPO 原理： DeepSeek-Math (Shao et al., 2024) 和 DeepSeek-R1 技术报告，对比 PPO 与 GRPO 的轨迹使用方式差异
6. Diffusion Policy： Chi et al. (2023)，理解扩散模型如何生成机器人动作轨迹
7. Flow Matching： Lipman et al. (2022)，理解连续轨迹的生成范式

专家级（前沿追踪）

8. 轨迹级 Scaling Laws： 跟踪 RL for LLMs 领域关于”推理时计算量（trajectory samples）与性能关系”的最新工作
9. 端到端自动驾驶架构： UniAD (Hu et al., 2023) 等统一感知-预测-规划的架构
10. 多智能体轨迹博弈： 社会可接受轨迹（Socially Acceptable Trajectory）等交互式预测方向

一句话总结

轨迹是 AI 系统从”单步决策”走向”全局智能”的关键结构化抽象——在 LLM 中它是强化学习优化的基本单元，在自动驾驶中它是安全决策的核心输出，在生成模型中它是从噪声到数据的桥梁；理解轨迹，就是理解 AI 如何在时间维度上组织智能行为。

延伸阅读与来源

数据标注说明： 本文中所有未标注来源的定量数据均为行业估算或定性判断，不构成投资建议。具体模型参数、性能指标请以各公司官方技术报告/财报为准。