视觉-语言-动作（VLA）模型
一、核心摘要：当基础模型遇见物理世界
视觉-语言-动作（Vision-Language-Action, VLA）模型标志着人工智能从纯粹的数字符号处理迈向真实物理交互的临界突破。作为一种端到端的基础模型架构，VLA 能够将摄像头捕捉的视觉流与人类发出的自然语言指令直接映射为机器人末端执行器的连续控制信号，从根本上跳过了传统机器人系统中“感知—规划—控制”的串行管线。其颠覆性并非来自单一算法的改进，而在于首次将互联网尺度上习得的世界知识、常识推理与物理交互行为统一在一个 Transformer 模型中，实现了从语义概念到精细动作的跨模态迁移。这一能力使得机器人能够零样本应对非结构化环境中的新物体、新任务，将生产线的重编程周期从数周压缩至瞬间，为通用具身智能的产业化打开了大门。全球范围内，从谷歌 DeepMind 的 RT-2 到 OpenAI 赋能的 Figure 01，从英伟达的 GR00T 到众多初创公司的垂直布局，VLA 已成为人工智能领域资本密度最高、技术迭代最快的赛道之一。本报告将从技术架构、训练范式、工程实践、产业生态和未来趋势等维度，对 VLA 模型进行系统性的深度剖析。
二、范式跃迁：从模块化机器人到端到端具身智能
传统机器人系统长期遵循一种分而治之的工程哲学。执行“把蓝色杯子放进微波炉”这样一个看似简单的指令，底层需要经历复杂的多步骤处理：视觉 SLAM 模块从 RGB-D 图像中分割目标物体并估计六自由度位姿；任务规划器将自然语言指令解析为象征性的操作图，生成如“移动到 A 点→抓取杯子→移动到 B 点→放置”的动作序列；运动规划算法在联合空间或无碰撞的笛卡尔空间中生成平滑轨迹；最后底层控制器通过 PID 或阻抗控制将轨迹转换为电机电流。这一架构的脆弱性显而易见——每个模块的误差会向下游传播放大，视觉识别失败便直接导致规划器无解；而且任何环境改变（光照、物体形状、布局）都需要工程师手动调节参数甚至重写规则。这种模式将机器人的适应能力限定在一个极为狭窄的“固定剧本”舞台之上，无法满足柔性制造、家庭服务等泛化需求。
VLA 模型代表了一场深刻的范式革命。它采用单一的超大规模 Transformer 神经网络，将视觉输入、语言指令与动作输出这三个模态统一到同一个序列建模框架中。模型的输入是来自多视角摄像头的图像序列和一句自由格式的自然语言指令，如“小心地把绿色盒子叠在红色盒子上，别碰倒旁边的杯子”。经过多层跨模态注意力计算，模型直接输出末端执行器的绝对位姿、夹爪开合角度或关节扭矩指令。这种端到端的压缩处理，消除了中间环节的信息瓶颈，允许视觉细节中那些难以用符号规则描述的物理特性（如物体表面的摩擦力、柔性材料的变形）被隐式地捕获并直接映射为适当的控制动作。更具深远意义的是，这种架构使得机器人控制可以被纳入大语言模型所开辟的“预测下一个 Token”的通用范式中，从而共享语言模型在规模化训练中涌现出的推理、常识和一搏泛化能力。
三、架构内核：多模态Token序列的统一建模
VLA 模型的架构本质上是一座架在“离散符号”与“连续物理量”之间的桥梁，其设计核心在于如何用一个生成文本的模型来生成动作。当前最主流的方案承袭了多模态大语言模型的框架，并将其扩展至动作空间。典型的 VLA 架构由三个关键组件构成：视觉编码器、语言编码器以及跨模态动作解码器。
视觉编码器通常选用视觉 Transformer（ViT），输入不仅是当前帧的 RGB 图像，通常还会将时间上连续的若干历史帧沿通道维度堆叠，形成一段富含运动信息的时空视觉块序列。每帧图像被切分为固定大小的 Patch，经线性投影和位置编码后形成一长串视觉 Token。文本侧则通过预训练的大语言模型编码器（如 PaLI 或 LLaMA 的早期层）将指令文本转化为文本 Token 序列。这两串模态异构的 Token 被拼接为一个统一的序列，送入一座巨大的 Transformer 解码器中。在自注意力机制的作用下，每一个视觉 Token 都可以自由地与指令中的每一个词语进行交互，例如“透明玻璃杯”这个词会强化模型中与易碎物体边缘梯度相关的视觉特征，而“小心地”则影响后续力度特征的调制。
真正体现 VLA 技术智慧的环节在于动作的解码生成。由于机械臂的动作是连续值的集合——典型的是末端执行器的七维向量（三维位置、三维姿态、一维夹爪开度），要让一个原本设计用于输出离散词汇分布的模型生成连续量，必须引入动作的“Token化”。基础方案是均匀离散化，将每个连续动作维度的值域划分成数百个箱体，每个箱体分配一个词表序号。例如，X 轴位移范围 0 至 1 米被分为 256 个 Bin，模型只需输出代表第 128 个 Bin 的 Token 即可。更先进的方法采用向量量化变分自编码器，预先在海量机器人轨迹数据上训练一个动作分词器，将连续动作序列压缩为离散的潜在码本索引。VLA 模型自回归地生成这些索引串，再通过分词器解码为连续轨迹，获得了更高的动作精度和时序平滑性。
四、动作生成策略：从自回归离散化到扩散策略
VLA 模型的动作解码器设计，直接决定了机器人运动的精度、平滑度和任务成功率。当前技术路线可归纳为三大流派，它们在处理复杂物理交互时各有优势。
第一类是基于离散 Token 的自回归生成。这借鉴了大语言模型最成熟的文本生成范式。模型在接收到视觉和语言 Token 后，逐个输出代表动作维度的离散 Token，上一个输出的动作 Token 会作为下一时刻的输入，形成完整的预测序列。RT-2 是这一路径的标杆，它将头部的输出投影直接映射到动作箱体上，用交叉熵损失进行训练。该方法的最大优势在于能够无缝复用大语言模型的海量预训练和工程优化沉淀，但其局限在于，均匀离散化会导致维数灾难，七维动作的精细表示要求词表规模急剧膨胀，且自回归的误差会随时间累积。
第二类是动作分块的自回归生成，代表模型为 Octo。它不再单独预测每一步的动作 Token，而是一次性预测未来一段固定长度（如 100 步）的动作序列，即一个动作“块”。模型依然自回归地生成这些块，但各块内的动作是并行解码的。这种设计大大减少了推理步数，提升了时间一致性，并能更有效地捕捉动作的时间结构。
第三类则是近期兴起的扩散策略。这类方法将动作生成建模为条件去噪扩散过程。模型在训练时学习如何从纯噪声中逐步恢复出干净的动作轨迹，条件是视觉和语言上下文。推理时，模型从随机噪声开始，经过数十步去噪迭代，产生出一个连续的动作分布。扩散策略天然适合处理高维连续空间，在需要精细力控的接触密集任务（如精密装配、插入）中表现出更高的成功率与柔顺性。当前许多前沿 VLA 系统，特别是结合了深度强化学习微调的版本，已开始采用扩散 Head 替代传统 MLP 分类头，实现了更拟人化的连续运动曲线。
五、视觉-语言的预训练根基：世界知识的物理投射
VLA 模型之所以能够理解“拿起那个透明玻璃杯”并施加恰好的力度，而不是像传统工业机器人那样要么抓碎要么滑落，其核心奥秘在于大规模的视觉-语言预训练。在接触到任何机器人数据之前，模型已经通过在数十亿级互联网图文对（如 LAION、WebLI、COYO 等数据集）上的训练，内化了一个庞大而丰富的“世界模型”。这个模型知道玻璃是易碎的、水是流动的、动物是活体会动的——这些常识是无法通过少量机器人遥操作数据习得的。
在这个过程中，模型学习的是跨模态的语义对齐。当视觉 Transformer 处理一张包含“透明玻璃杯放在桌沿”的图像时，其内部的注意力头会与语言编码器处理“透明玻璃杯”一词时的激活模式形成高余弦相似度。这种关联使得模型不仅识别出像素模式，还抽取出了抽象属性：材质属性（透明、光滑）、空间关系（在桌沿，意味着不稳定）以及风险语义（易碎）。当后续在少量机器人轨迹数据上进行微调时，模型只需要学习一个简短的“映射层”——将这些语义属性转化为相应的物理约束。比如，识别到“易碎”属性时，自动降低夹爪的期望接触力矩阈值。这种从互联网规模的感性知识到物理交互的直接投射，是 VLA 模型泛化能力的根本来源，也是它区别于所有单纯依赖仿真或遥操作数据训练的传统方法的根本差异。
六、协同微调范式：在不遗忘中习得物理技能
仅有世界知识还不足以让模型指挥真实机械臂，它还需要习得精确的物理交互技能。VLA 模型的训练普遍遵循“预训练+协同微调”的双阶段范式，其核心技术挑战在于解决灾难性遗忘——如何在注入物理运动能力的同时，尽可能保留模型在互联网数据上习得的语义理解与常识。
目前最有效的方法被称为“混合 Token 训练”。研究者将动作 Token 直接添加到原有语言模型的词汇表中，构建一个统一的词表。训练数据采用交错的格式，即同一批次内既包含标准的图文问答对（保持语言能力），也包含带动作标签的机器人演示数据。在计算损失时，仅在序列中动作 Token 出现的位置施加交叉熵损失或回归损失，而对于语言和视觉相关 Token 的部分，或者将其输出掩码掉，或者使用极低的学习率进行小幅偏移修正。许多先进实现还会引入 LoRA 或适配器模块，专门在 Transformer 的特定层中插入可训练的低秩矩阵，让模型以极小的参数增量（通常不到总参数的 2%）来适应动作输出任务。这种精妙的平衡使得最终的 VLA 模型能够理解一句含糊的指令，比如“把那个东西挪开点，别太用力”，并据此调整动作的力控参数，展现出一种近乎直觉的物理常识。
微调所需的数据集是关键瓶颈。目前谷歌 DeepMind 联合全球 33 家实验室构建的 Open X-Embodiment 数据集是规模最大的公开资源，包含超过 100 万个真实机器人演示片段，覆盖 60 多种不同形态的机械臂和数百种任务。这使得 VLA 模型能够跨机器人本体进行训练，涌现出一定的“本体迁移”能力。
七、零样本泛化：涌现出的物理常识推理
VLA 模型最令产业界兴奋的价值点是其突出的零样本泛化能力。在传统的工业视觉系统中，识别一种新型的、产线上从未出现过的透明包装袋，需要采集数百张缺陷样本并重新训练模型。而对于一个充分训练的 VLA 模型，只要指令到位，它可以在第一次见到这种物体时就完成抓取和放置，成功率甚至超过传统系统无数次迭代后的效果。
这种泛化能力根植于模型对语义概念的抽象表征。模型并非记住了训练时见过的特定物体“红色圆柱体积木”的三维点云，而是理解了“圆柱体”、“红色”、“可抓取”这样的解耦语义因子。当面对一个白色的圆柱体马克杯时，其内部的注意力机制能够重构这些因子的组合，激活与圆柱体抓取姿态相关的运动程序模块，并依据视觉 Token 中关于物体表面的微小特征来决定是否需调整抓取力度以适应陶瓷材质。更令人惊叹的是空间关系的泛化。指令“把盘子上的杯子拿给我”中，“盘子上的”这一空间关系是模型在大量图文数据中学会的；而在机器人数据中它只练习过“拿起杯子”。两者结合，它便能自发地生成先去往盘子所在位置、在三维视觉特征中找到杯子、再执行抓取的动作序列，而从未被针对性地进行过“从承载物上取物”的组合任务训练。
众多公开实验展示了这一能力的惊艳表现。在斯坦福的实机测试中，OpenVLA 模型对训练任务之外的新物体、新背景、新干扰物以及完全新的组合指令，成功率远超基于预定义技能的基线方法。正是这种泛化性让柔性制造成为可能——一条产线上的机械臂，上午通过自然语言切换完成手机中框的精密组装，下午即可切换到同一产线对异形包裹进行柔性码垛，不再需要任何硬件调整或重新示教。
八、大规模并行训练：算力之下的系统工程
训练一个具备通用能力的 VLA 模型是一项庞大的系统工程，其计算量远超单纯的文本大语言模型。原因在于视觉 Token 的数量极其庞大：一帧 224x224 分辨率的图像经 ViT 处理后通常产生 256 个 Token，而为了捕捉运动，往往需要堆叠 5-10 帧历史图像，使得单个样本的视觉 Token 长度就达到数千。当目光投向更高分辨率和多视角输入时，这个问题会被进一步放大。
为此，VLA 的训练通常借助大规模 GPU 集群，并融合多种并行策略。张量并行将单层内的参数切分到多个设备，流水线并行将模型的不同层分布到不同的计算节点，使得前向和反向传播可以像工厂流水线一样运行。然而，最大的挑战在于处理超长的 Token 序列，传统的自注意力计算复杂度为序列长度的平方，这要求在视觉侧采用特殊的序列并行方案，比如 Ring Attention 或 FlashAttention 的分布式变体，将长序列切分到多个设备上，通过环形通信高效计算注意力。此外，为了解决视觉 Token 的冗余，一些高效架构在 ViT 之后引入可学习的查询向量（Perceiver Resampler），将数千个视觉 Token 压缩为固定的几十或几百个抽象特征，在几乎不损失信息的情况下大幅缩减后续 Transformer 的序列长度。
目前的标杆模型如谷歌的 RT-2 在 Cloud TPUv4 集群上训练，参数规模达 550 亿；而 UC 伯克利主导的 OpenVLA 则采用 70 亿参数的 LLaMA 骨架，通过精巧的视觉映射实现可控的训练预算，凸显了开源社区的优化能力。训练一个顶级的 VLA 模型通常需要数千 A100-80GB 级别的 GPU 周，算力成本已成为产业竞争的核心门槛。
九、低延迟推理与边缘部署：通往实时控制之路
要将 VLA 模型部署在真实的机器人上，推理延迟是决定生死的硬性指标。物理世界的实时控制环路通常要求从传感器输入到运动指令输出的延迟低于 100 毫秒，高动态任务甚至要求 10 毫秒以下。这对于动辄数百亿参数的 Transformer 来说是巨大挑战。VLA 的推理优化因此成为工程落地的核心战役。
当前产业界的优化方向主要沿着三条路径展开。其一是应用稀疏专家混合架构。模型在推理时只激活与当前任务相关的一小部分参数，而非全模型推演。谷歌的 RT-2 和某些未公开的商业模型便采用了这种技术，可在保持模型总容量的同时将激活参数量削减至总规模的四分之一以下。其二是模型蒸馏。即训练一个参数量大幅缩减的学生模型去模仿大型 VLA 的输出分布。这种方式特别适用于部署在英伟达 Jetson AGX Orin 或高通 RB6 等边缘 AI 计算平台上。例如，斯坦福团队将 OpenVLA 蒸馏至 1B 参数以下后，能在 Jetson 上实现 50 毫秒以内的推理速度，且性能仅下降几个百分点。
第三条路线是推理架构的专项优化，包括使用 TensorRT-LLM 进行图编译优化、采用 KV Cache 压缩技术减少显存占用、以及将模型量化为 4 比特或 8 比特整数。在并发控制层面，先进的系统采用异步推理管线：当 GPU 在推理当前帧时，CPU 同步进行下一帧的图像预处理和动作后处理，形成流水线重叠，进一步压缩有效延迟。可以预见，随着芯片架构（如英伟达的 Thor）和推理框架的持续进化，大型 VLA 模型在人形机器人等具身终端上的实时运行将在 1-2 年内成为产业标配。
十、标杆模型图谱：从 RT-2 到 GR00T 的技术路线竞合
VLA 领域已进入一个模型井喷的活跃期，几大标杆模型清晰地展现了技术的演进方向。
谷歌 DeepMind 的 RT-2 是这一领域的奠基之作。它直接基于视觉-语言模型 PaLI-X 和 PaLM-E 构建，在训练上首次展示了互联网预训练知识与机器人数据的强协同效应。其最大的贡献在于确立了一个技术范本：只需将动作离散为 Token 加入词表，就能将大语言模型的推理能力注入机器人控制。紧接着，斯坦福的 Mobile ALOHA 系统以较低成本实现了精细的双臂操作，通过模仿学习结合 VLA 微调，它展示了 VLA 在精密任务（如打鸡蛋、组装链轮）中的潜力，并引发了开源社区的复现热潮。
OpenVLA 则代表了开源路线的突破。这个 7B 参数的模型基于 LLaMA-2 和预训练的视觉编码器，在 Open X-Embodiment 数据集上训练，并且所有权重、训练代码和数据集完全公开。它证明了无需超大规模企业闭源基础设施，研究者也能训练出具备强泛化能力的 VLA 模型，极大地加速了学术研究和中小企业的创新。英伟达的 GR00T 项目则另辟蹊径，构建了一个完整的基础模型和仿真训练平台生态，借助 Isaac Sim 生成海量多样化的合成数据，旨在为任何类型的机器人创建通用的大脑。GR00T 的策略强调了仿真在冲破数据瓶颈中的核心作用。此外，OpenAI 与 Figure 的合作将 GPT 系列的语言理解能力直接与仿人形机器人的物理实现结合，展示了端到端 VLA 在商业人形机器人上的震撼效果。这些模型共同勾勒出一个多路线并进、开源与闭源竞合的蓬勃图景。
十一、产业应用场景：穿透制造业与服务业的价值链
VLA 的产业价值率先在制造业的柔性化改造中兑现。在消费电子、汽车零部件等行业，产品生命周期缩短，个性化定制增多，传统产线换线时间长、成本高。引入 VLA 驱动的协作机器人后，工人只需通过语音或打字输入“请把左上料盘中的 Type-C 线材插入第二检测工位的夹具”，机械臂即可立即理解任务，识别此前未建模的异形线材，生成柔顺的插拔动作。这对于应对多品种、小批量的制造趋势具有里程碑意义。仓储与物流分拣是另一块试金石。VLA 模型能依据“把透明塑料袋包裹的退货商品翻过来查看标签”这类复杂指令，处理高反光、变形、缠绕等传统视觉算法完全失效的物品。该领域已出现实现 99.5% 以上分拣准确率的头部试点案例。
在家庭与商业服务场景中，VLA 让服务机器人具备处理开放式任务的能力。例如，一个家用机器人接到指令“把沙发上散落的儿童玩具收进蓝色的玩具箱里，积木和毛绒要分开放”，这要求它结合房间语义地图、物体细粒度识别和灵巧的操作规划。VLA 模型从通用语料中习得的“积木”与“毛绒”的材质和分类概念，可直接映射为不同的抓取和放置策略。辅助医疗与康复也是极具前景的方向，VLA 能让康复外骨骼根据患者语音意图和肌肉力反馈做出连续自适应辅助。尽管目前仍主要处于结构化场景的验证阶段，随着安全性和可靠性提升，这些泛化服务将逐步从演示走向产品化落地。
十二、竞争格局：巨头、初创与开源力量的三角博弈
VLA 赛道已形成“科技巨头+精锐初创+开源社区”三足鼎立的格局。巨头阵营中，谷歌凭借 DeepMind 的先发优势，通过 RT 系列的持续迭代和 Open X-Embodiment 的生态卡位，牢牢占据学术与技术的制高点。英伟达通过“算力硬件+仿真平台+基础模型”三位一体的 GR00T 战略，意图成为具身智能的“基础设施提供商”，吸引大批机器人本体厂商加入其生态。OpenAI 虽未直接公开 VLA 模型架构，但通过投资并深度赋能 Figure 和 1X 等明星初创，其大语言模型能力已成为多款人形机器人的核心大脑，形成了强大的间接影响力。
初创公司方面，Figure AI 凭借与 OpenAI 和宝马等合作，在仿人形机器人上实现了端到端 VLA 部署，估值飙升。Physical Intelligence 等公司则试图打造通用机器人基础模型，推动技术的平台化输出。国内，银河通用、星尘智能等初创也在 VLA 与具身操作方面取得快速进展。开源社区则成为技术的加速器，OpenVLA、Octo 以及基于它们的各种微调版本，让中小企业和研究机构能以极低成本快速搭建原型。这种三角结构加速了技术扩散，也导致了激烈的人才争夺和资本聚集。预计未来两年，能够成功将 VLA 与特定垂直场景数据深度结合、构建起闭环数据飞轮的企业，将有望在这轮竞赛中胜出。
十三、数据瓶颈与合成数据破局：仿真与生成式 AI 的融合
VLA 模型的进步曲线直接受限于高质量机器人交互数据的规模与多样性。与互联网图文数据近乎无限不同，真实机器人的演示数据采集极其昂贵，往往需要专业人员通过遥操作进行数小时采集才能完成一个简单任务，且数据泛化性受场景限制。这构成了当前最大的产业瓶颈。
为了突破这一困境，合成数据与仿真技术被寄予厚望。以英伟达 Isaac Sim 为代表的高保真仿真平台，能够以千倍于真实世界的速度自动生成海量带标签的视觉-动作交互数据，涵盖各种物体几何、材质、光照和物理规则。结合近年来爆发的生成式 AI，研究者已在探索利用文生图、文生视频模型自动扩充训练数据分布，如生成同一场景不同天气、不同干扰物下的图像，然后用域随机化技术训练 VLA 模型，极大增强其视觉鲁棒性。更为前沿的路径是利用大规模视频数据中的人类操作视频进行无监督预训练。通过分析互联网上亿级别的“手与物体交互”视频，模型可以在完全没有动作标注的情况下学习物理世界的手眼协调先验，然后仅用极少量真实遥操作数据即可微调至特定机器人平台。这种从“看视频学习”到“动手实践”的范式，有望真正将 VLA 模型的数据需求降低一至两个数量级，是后续研究的重点突破方向。
十四、安全、伦理与对齐：物理世界大模型的底线责任
当一个大模型有能力驱动数百瓦功率的机械臂或双足机器人在物理空间中运动时，安全问题便从数字域的信息安全跃迁到了人身与财产安全的层面。VLA 模型的幻觉、对抗攻击脆弱性或训练数据的偏见，都可能导致灾难性的物理后果。例如，一个错误地将“用力砸核桃”的指令与“旁边的玻璃水杯”相关联的动作，可能引发碎片飞溅伤人。因此，物理世界中的对齐成为产业的底线命题。
当前的应对策略涵盖多个层面。在模型层面，引入物理常识约束训练，通过构建包含危险状态和正确干预的负样本数据，教会模型识别并拒绝危险指令，或在其动作Token分布中施加硬约束（如速度、力矩上限）。在系统层面，设计独立的运行时安全监视器，使用确定性算法验证 VLA 输出的动作在碰撞检测、力安全裕度等方面是否合规，形成最后一道物理保险。人机交互层面，设置显式的确认与接管机制，在关键任务节点请求人类监督员确认。伦理与法律责任方面，产业界亟需建立 VLA 驱动的具身智能系统的分级安全认证标准，类似于汽车领域的 ISO 26262，明确制造商、模型提供商与使用方的责任边界。只有当安全性得到制度性保障，VLA 才能在贴近人类的场景中大规模铺开。
十五、结语与前瞻：具身智能元年的投资启示
站在当前时点，VLA 模型的技术成熟度正从“实验室突破”快速迈向“工程化落地”的临界区。它承载着大模型溢出到物理世界的宏大叙事，是人工智能改造实体经济最直接的技术抓手。投资者和产业参与者应重点关注以下趋势：第一，模型能力将从简单的拾取放置，向复杂的接触密集型装配和双手协调操作演进，扩散策略的应用将是关键信号。第二，仿真与真实数据的闭环将加速，能构建起“部署-采集-重训练-再部署”数据飞轮的企业将建立持续壁垒。第三，边缘推理芯片与端侧 VLA 的协同进化，将催生一批针对垂直场景的高性价比解决方案。第四，人形机器人是 VLA 的理想载体但不是唯一载体，制造业中数量庞大的固定臂和移动底盘也可能是率先起量的市场。
VLA 的最终愿景，是构建一个通用的机器人基础模型：下载到任何形态的机器人中，就能像人类一样，通过观看和聆听来快速学会新的物理技能。尽管距离这一终极目标仍有长路，但产业级的奇点已然临近。这不仅仅是一个技术故事，更是一场关乎生产力范式、全球供应链重构和人机关系重塑的深刻变革。对于试图在这一浪潮中捕捉价值的观察者与决策者而言，深刻理解 VLA 模型的技术脉络和产业逻辑，是把握下一个十年智能经济脉搏的必要前提。