VLM vs VLA

视觉-语言模型（Vision-Language Models，VLM） 是联合在图像与文本上训练的神经网络。它们对视觉输入进行推理：将其与任意文本标签进行分类、描述它、回答关于它的问题。视觉-语言-动作模型（Vision-Language-Action Models，VLA） 在 VLM 的基础上再进一步：它们额外输出机器人动作。这一区别听起来很小；但在架构和理念上，它是感知模块与策略之间的分野。

VLM：感知与推理

本层级中的 VLM 谱系展示了三代架构演进：

• CLIP 通过在 4 亿网络图文对上做对比训练，学习一个共享的图像-文本嵌入空间——其输出是一个嵌入，“推理”体现为相似度检索（零样本分类、检索）。
• BLIP-2 通过一个小型 Q-Former，将一个冻结的图像编码器与一个冻结的 LLM 连接起来，使输出变为以图像为条件生成的语言——如图像描述、视觉问答、指令跟随——训练成本仅为端到端训练的一小部分。
• LLaVA 走得更简单：用一个单一的线性投影层，把冻结的 CLIP 编码器的视觉 token 连接到 LLM，再通过在视觉对话数据上的指令微调，把整个系统变成一个视觉聊天机器人。

无论内部机制如何，VLM 的输出始终是语言、嵌入或分数——它能感知和理解，但不会行动。

VLA：把闭环延伸到动作

RT-2 引入的标准技巧是把连续的机器人指令离散化为 token：末端执行器位置/旋转的增量、夹爪状态或导航方向被分箱（例如每个自由度分为 256 个桶），每个桶被赋予模型词表中的一个 token。于是”行动”就变成了下一个 token 预测：给定当前摄像头图像和一条语言指令，模型自回归地生成动作 token，再将其解码为电机指令。

• RT-2 在网络数据和机器人示教数据上共同微调一个大型 VLM，使同一个网络既能回答问题，也能输出动作。
• OpenVLA 以 70 亿参数的规模开源了这一配方，其中一个显著特点是在语言骨干之前融合了两个视觉编码器——DINOv2（空间性、以物体为中心的特征）和 SigLIP（语义性、文本对齐特征）——这印证了视觉编码器的质量确实是制约 VLA 性能的一个真实瓶颈。
• NaVILA 把这一配方从桌面操作任务扩展到了腿式机器人导航。

并排对比

为什么要在 VLM 之上构建 VLA？

因为迁移。机器人示教数据集与互联网规模相比微不足道，但一个 VLM 骨干网络已经知道物体是什么、如何被描述，以及世界大致如何运作。RT-2 的核心成果正是涌现式泛化——能够操作和跟随机器人训练数据中从未出现过的物体和指令，原因仅仅是底层 VLM 已经在网络数据中见过它们。若只在机器人数据上从零训练一个 VLA，就会丢掉这一先验。

设计张力——以及 SLAM 的位置

VLA 把感知、推理和控制压缩进一个网络，这有利于端到端优化，但放弃了模块化机器人技术栈所维护的显式几何状态（地图、位姿）。在模块化模式下，技术栈是这样的：

$$\text{感知} \xrightarrow{\text{SLAM}} \text{地图 + 位姿} \xrightarrow{\text{VLM}} \text{场景理解} \xrightarrow{\text{VLA}} \text{动作}$$

端到端的替代方案则完全跳过了显式几何。哪种方式更胜一筹很可能取决于任务：已知空间中的精密操作和长时程导航偏向于依赖显式的 SLAM 状态；而短时程、开放世界的指令跟随则可能更偏向端到端策略。目前大多数 VLA 完全没有度量记忆——而这正是 SLAM 重新登场的地方。

对SLAM的意义

VLM 已经在重塑 SLAM：把 CLIP 风格的嵌入附加到三维地图上，就能产生开放词汇的场景理解（LERF、ConceptFusion），使地图能够被自由形式的文本查询。VLA 则为该领域提出了更宏大的架构问题——未来的机器人究竟会使用一个显式的 SLAM 地图、再由 VLA 在其之上做规划（SLAM 作为 VLA 所欠缺的度量记忆），还是采用完全绕开显式几何的端到端策略。了解每一类模型的长处所在，就能知道经典空间表示仍然在哪些地方大有用处：长时程导航、度量精度以及持久地图。

相关条目

• CLIP
• BLIP-2
• RT-2
• OpenVLA
• NaVILA
• Spatial AI