WorldVLA

Cen (Alibaba) 2025 · 论文

一句话总结 — WorldVLA 用一个自回归 transformer 将视觉-语言-动作模型与世界模型统一起来，该模型同时预测机器人动作 token 和未来图像 token，使学习环境物理与生成动作相互强化。

问题

机器人学习流程已经分裂成两个互不关照对方长处的阵营。视觉-语言-动作模型（RT-2、OpenVLA）把观测和指令映射为动作，但只把动作当作输出——从未把它当作需要被理解的输入——因此它们没有机制去预测这些动作的后果。世界模型（GAIA-1、Cosmos）根据观测和动作预测视觉世界将如何演化，但它们自身并不产生任何动作。WorldVLA 提出的问题是：能否用一个自回归模型同时完成这两件事——在单一框架中统一动作与图像的理解和生成。

方法与架构

WorldVLA 在图像观测 $o$、动作 $a$ 和语言指令 $l$ 上定义了一个动作（策略）模型 $\pi_\theta$ 和一个世界模型 $f_\phi$：

$$a_t = \pi_\theta(a_t \mid o_{t-h:t},\, l), \qquad o_t = f_\phi(o_t \mid o_{t-h:t-1},\, a_{t-h:t-1})$$

并将两者统一进一个模型 $M_\psi$ 中，该模型有一个策略头和一个世界头，共享全部权重。

• 一个 transformer，三种 tokenizer：骨干网络从 Chameleon（一个统一的图像理解/生成 MLLM）初始化。图像 tokenizer 是一个 VQ-GAN（压缩比 16，码表大小 8192；每张 256×256 图像对应 256 个 token，512×512 对应 1024 个）。动作 tokenizer 将 7 个动作维度（3 个相对位置、3 个相对角度、1 个夹爪状态）各自离散化为 256 个桶，因此一个动作对应 7 个 token。文本使用 BPE tokenizer，其 65,536 词的词表包含了 8192 个图像码和 256 个动作码——所有模态共享同一个词表和同一个自回归引擎。
• 两种交织的数据格式：动作模型样本提出的问题是”机器人应该采取什么动作才能完成 {指令}？“，基于 $M$ 张观测图像，且只对输出的 $K$ 个动作 token 进行监督（$\mathcal{L}_{action}$）；世界模型样本则要求”根据当前图像和动作生成下一帧”，只对生成的图像 token 进行监督（$\mathcal{L}_{world}$），重复 $N$ 次。世界模型这一半不需要指令，因为动作已经完全决定了下一个状态。
• 训练目标：一个混合交叉熵损失

$$\mathcal{L} = \mathcal{L}_{action} + \alpha\, \mathcal{L}_{world}$$

其中 $\alpha = 0.04$ 用来平衡数量很少的动作 token（7 个）与数量很多的图像 token（256/1024 个）。

• 动作块注意力掩码（Action-chunk attention mask）：朴素的因果注意力会使一个动作块中较后的动作依赖于较早的预测动作；由于动作在 MLLM 预训练中从未出现过，泛化能力较弱，误差会不断累积传播。WorldVLA 的掩码让每个动作只能关注文本和图像 token——不能关注之前的动作——从而支持并行生成动作；世界模型这一半则保持标准的因果掩码。
• 设置：历史帧数 $M=2$，块大小 $K=5$（LIBERO-Long 任务下 $K=10$），$N=1$。

实验结果

在 LIBERO 基准（每个任务 50 次滚动展开的成功率）上，512×512 分辨率的 WorldVLA 在 Spatial / Object / Goal / Long 四个子集上分别取得 87.6 / 96.2 / 83.4 / 60.0，平均 81.8，超过了离散动作的 OpenVLA 基线（平均 76.5），且未经大规模机器人预训练；256×256 版本的平均成绩为 79.1。消融实验揭示了这种相互增强的效果：加入世界模型数据后，纯动作模型的平均成功率从 62.8 提升到 67.2；朴素的自回归动作分块会使其骤降到 54.0，而所提出的注意力掩码则将其恢复到 76.6（配合世界模型数据后为 78.1，即完整模型的成绩）。概括来说：抓取任务的成功率比同骨干网络的动作模型高出约 4%，朴素分块会造成 10%–50% 的成功率下降，而所提掩码带来 4%–23% 的提升。反过来，动作数据也改善了世界建模：在 50 帧的滚动展开中，与纯世界模型相比，FVD 从 718.6 降到 674.1（约提升 10%），PSNR 从 23.98 升到 24.30，而纯世界模型在物理规律上明显失败（物体消失、抽屉打不开）。仅用世界模型任务对动作模型做预训练同样有帮助（62.8 提升到 66.8）。

对SLAM的意义

WorldVLA 标志着本层级两大线索——世界模型（GAIA-1、Cosmos）与 VLA（RT-2、OpenVLA）——汇聚成单一架构，弥合了”预测世界”与”在世界中行动”之间的一致性缺口。它的消融实验量化了 SLAM 研究者直觉上早已知道的一件事：必须预测运动的几何后果的模型，会学到更适合选择运动的表示，反之亦然。对 SLAM 而言，它勾勒出 Spatial AI 技术栈一个可能的终局状态：学习式动态与动作生成融合于一个模型之中，而显式的 SLAM 几何仍然作为互补的度量接地来源,用以约束和验证该模型所想象的滚动展开结果。

相关条目

• World model
• RT-2
• OpenVLA
• GAIA-1
• NVIDIA Cosmos