RT-2
Brohan (DeepMind) 2023 · 论文
一句话总结 — RT-2 将机器人动作表示为文本词元，并在网络规模的视觉语言数据和机器人轨迹数据上联合微调一个大型视觉语言模型，将互联网知识迁移到机器人控制中，并创造了“视觉-语言-动作”（VLA）模型这一术语。
问题
传统的机器人学习数据饥渴且脆弱：最强大的语言和视觉语言模型是在数十亿网络词元和图像上训练的——在可预见的未来，机器人数据的规模不可能与之匹敌。此前将 LLM/VLM 引入机器人领域的尝试大多将它们用作高层规划器，把指令解析为由独立的低层控制器执行的基本动作，这样就永远无法从网络知识中受益。RT-2 探究的问题是：能否将大型预训练视觉语言模型直接集成到低层机器人控制中，以提升泛化能力并激发涌现式的语义推理。
方法与架构
- 骨干网络：两个预训练的 VLM 被改造为 VLA——PaLI-X（5B 和 55B）和 PaLM-E（12B），分别得到 RT-2-PaLI-X 和 RT-2-PaLM-E。两者都接收图像加文本，并输出词元序列；不新增任何参数或动作头。
- 动作即文本词元：动作空间是末端执行器的 6 自由度位置和旋转位移，加上夹爪张合量以及一个离散的回合终止指令。每个连续维度被离散化为 256 个均匀区间，因此一个动作变成 8 个整数，拼接成单个字符串：
例如 "1 128 91 241 5 101 127"。对于 PaLI-X，1000 以内的整数已经有各自唯一的词元；对于 PaLM-E，256 个使用频率最低的词元被覆写为动作词元（一种符号调优形式）。机器人数据被转换为 VQA 格式：“Q: 机器人应采取什么动作来[指令]？A:”，后接动作字符串。
- 联合微调：关键的训练方案——在原始网络规模视觉语言任务（VQA、图像描述、图文交错）和 RT-1 的机器人演示数据（13 台机器人在一个办公室厨房环境中运行 17 个月）的混合数据上对 VLM 进行微调，并在每个批次中对机器人数据进行上加权。这样可以保留网络概念，而不是被机器人数据覆盖掉。
- 受限解码：当输入机器人任务的提示时，采样被限制在有效的动作词元范围内；在视觉语言任务上则保留完整词表。
- 实时推理：模型作为跨网络查询的多 TPU 云服务运行——55B 模型以 1-3 Hz 运行，5B 模型约以 5 Hz 运行——这是当时用于直接闭环机器人控制的规模最大的模型，比此前记录大出一个数量级以上。
- 思维链变体：RT-2-PaLM-E 在增加了“Plan:”步骤的数据上微调了数百步（例如*“Instruction: I’m hungry. Plan: pick rxbar chocolate. Action: 1 128 124 136 121 158 111 255”*），将视觉推理与动作生成连接起来。
实验结果
在一台 7 自由度移动式操作机器人上进行了约 6,000 次真实机器人试验评测：
- 已见任务 vs 泛化：在 200 多条已见指令上 RT-2 表现与 RT-1 相近，但在 280 多条未见物体/背景/环境任务上，两个 RT-2 实例的平均成功率约为 RT-1 和 MOO 的 2 倍，约为其他基线（VC-1、R3M）的 6 倍。
- 涌现能力（符号理解、推理、人物识别——均不存在于机器人数据中）：RT-2-PaLI-X-55B 平均成功率达 60%，高于 RT-1 的 17% 和 VC-1 的 11%——约提升 3 倍；RT-2-PaLM-E-12B 平均成功率为 40%，但在数学式推理上更强。
- 消融实验：即便在 5B 规模，从零训练效果也很差；在各个规模上，联合微调均优于仅用机器人数据微调；55B 的泛化能力优于 5B。
- Language-Table（开源仿真）：RT-2-PaLI-3B 得分 90 ± 10，高于 RT-1 的 74 ± 13、LAVA 的 77 ± 4 和 BC-Zero 的 72 ± 3。
- 局限：没有涌现出新的动作——物理技能仍局限于机器人数据的分布范围内；网络知识改变的是技能被如何部署，而不是存在哪些技能。
对SLAM的意义
RT-2 确立了 OpenVLA、NaVILA、WorldVLA 以及大多数后续机器人基础模型所采用的“动作即词元”VLA 范式，并证明了网络规模的预训练确实能够迁移到具身控制中。对 SLAM 研究者而言，它提出了 Spatial AI 时代的一个关键开放问题：如果网络知识能让策略泛化到新物体，那么 SLAM 式的空间知识（度量地图、持久几何）是否也能以同样的方式注入，从而泛化到新环境和长时程导航？