VLM vs VLA

**비전-언어 모델(VLM)**은 이미지와 텍스트에 대해 공동으로 훈련된 신경망입니다. 이들은 시각 입력에 대해 추론합니다: 임의의 텍스트 레이블에 대해 분류하고, 그것을 설명하고, 그에 대한 질문에 답합니다. **비전-언어-행동 모델(VLA)**은 VLM을 한 가지 핵심적인 단계만큼 확장합니다: 이들은 추가로 로봇 행동을 출력합니다. 이 차이는 작아 보이지만, 아키텍처적으로도 철학적으로도 인식 모듈과 정책 사이의 차이입니다.

VLM: 인식과 추론

이 레벨에서 다루는 VLM 계보는 세 세대의 아키텍처를 보여줍니다:

• CLIP은 4억 개의 웹 쌍에 대한 대조 훈련을 통해 공유된 이미지-텍스트 임베딩 공간을 학습합니다 — 출력은 임베딩이며, “추론”은 유사도 검색(제로샷 분류, 검색)입니다.
• BLIP-2는 작은 Q-Former로 동결된 이미지 인코더와 동결된 LLM을 연결하여, 출력이 이미지에 조건부인 생성된 언어 — 캡션 생성, VQA, 명령 따르기 — 가 되게 하며, 이를 종단 간 훈련 비용의 일부로 달성합니다.
• LLaVA는 한층 더 단순합니다: 단일 선형 투영이 동결된 CLIP 인코더의 시각 토큰을 LLM에 연결하며, 시각적 대화에 대한 명령 튜닝이 그 결과를 시각적 챗봇으로 만듭니다.

내부 구조가 무엇이든, VLM의 출력은 항상 언어, 임베딩, 또는 점수입니다 — 인식하고 이해하지만 행동하지는 않습니다.

VLA: 행동으로 루프를 닫기

RT-2가 도입한 표준 트릭은 연속적인 로봇 명령을 토큰으로 이산화하는 것입니다: 말단 장치의 위치/회전 델타, 그리퍼 상태, 또는 내비게이션 방향이 (예: 자유도당 256개 빈으로) 이산화되고 각 빈이 모델 어휘 내의 토큰에 할당됩니다. 그러면 행동은 다음 토큰 예측이 됩니다: 현재 카메라 이미지와 언어 명령이 주어지면, 모델은 자기회귀적으로 행동 토큰을 생성하고 이는 모터 명령으로 디코딩됩니다.

• RT-2는 대형 VLM을 웹 데이터와 로봇 시연 데이터에 대해 공동으로 미세 조정하여, 동일한 네트워크가 질문에 답하고 행동을 출력합니다.
• OpenVLA는 이 레시피를 70억 매개변수로 오픈소스화했으며, 특히 두 시각 인코더 — DINOv2(공간적, 객체 중심 특징)와 SigLIP(의미론적, 텍스트 정렬 특징) — 를 언어 백본 앞에서 융합하여, 비전 인코더의 품질이 VLA 성능의 실질적인 병목임을 보여주는 증거를 제공합니다.
• NaVILA는 이 레시피를 탁상 조작에서 다리 로봇 내비게이션으로 확장합니다.

나란히 비교

VLM 위에 왜 VLA를 구축하는가?

전이(transfer)입니다. 로봇 시연 데이터셋은 인터넷에 비하면 미미하게 작지만, VLM 백본은 이미 객체가 무엇인지, 어떻게 기술되는지, 세상이 대략 어떻게 작동하는지를 알고 있습니다. RT-2의 대표적인 결과는 창발적 일반화였습니다 — 로봇 훈련에서 전혀 본 적 없는 객체를 조작하고 명령을 따랐는데, 이는 오직 기저 VLM이 웹에서 이를 본 적이 있기 때문입니다. 로봇 데이터만으로 VLA를 처음부터 훈련하면 이 사전 지식을 버리는 셈입니다.

설계상의 긴장 — 그리고 SLAM이 자리하는 곳

VLA는 인식, 추론, 제어를 하나의 네트워크로 붕괴시켜 종단 간 최적화를 이루지만, 모듈형 로봇 스택이 유지하는 명시적 기하학적 상태(맵, 포즈)를 포기합니다. 모듈형 패턴에서 스택은 다음과 같습니다:

$$\text{인식} \xrightarrow{\text{SLAM}} \text{맵 + 포즈} \xrightarrow{\text{VLM}} \text{장면 이해} \xrightarrow{\text{VLA}} \text{행동}$$

종단 간 대안은 명시적 기하를 완전히 건너뜁니다. 어느 쪽이 이길지는 작업에 따라 달라질 것입니다: 알려진 공간에서의 정밀한 조작과 장기 내비게이션은 명시적 SLAM 상태에 유리하고; 단기적이고 오픈 월드인 명령 따르기는 종단 간 정책에 유리할 수 있습니다. 현재 대부분의 VLA는 미터법적 메모리를 전혀 갖고 있지 않습니다 — 바로 여기서 SLAM이 다시 등장합니다.

SLAM에서의 의미

VLM은 이미 SLAM을 재형성하고 있습니다: 3D 맵에 부착된 CLIP 스타일 임베딩은 자유 형식 텍스트로 맵을 쿼리할 수 있는 오픈 어휘 장면 이해(LERF, ConceptFusion)를 만들어냅니다. VLA는 이 분야에 더 큰 아키텍처적 질문을 던집니다 — 미래의 로봇이 명시적 SLAM 맵과 그 위에서 계획하는 VLA를 함께 쓸지(VLA에 부족한 미터법적 메모리로서의 SLAM), 아니면 명시적 기하를 완전히 건너뛰는 종단 간 정책을 쓸지. 각 모델 클래스가 어디서 강한지 아는 것은 고전적 공간 표현이 여전히 제 몫을 하는 곳이 어디인지를 알려줍니다: 장기 내비게이션, 미터법적 정밀도, 지속적인 맵.

관련 문서

• CLIP
• BLIP-2
• RT-2
• OpenVLA
• NaVILA
• Spatial AI