World model

**월드 모델(world model)**은 환경 역학에 대한 학습된 생성 모델입니다: 현재 상태(그리고 선택적으로 행동)가 주어지면 다음에 무슨 일이 일어날지 예측합니다. 형식적으로는 다음과 같은 것을 근사합니다.

$$s_{t+1} \sim p_\theta(s_{t+1} \mid s_t, a_t)$$

여기서 “상태”는 원시 픽셀, 잠재 임베딩, 또는 이산 토큰일 수 있으며, “행동”은 로봇 명령, 조향 입력, 또는 아무것도 아닐 수도 있습니다(순수 비디오 예측). 모델은 롤아웃될 수 있으므로 — 자신의 예측을 다시 입력으로 받아 여러 스텝 앞을 시뮬레이션함으로써 — 내부 시뮬레이터로 기능합니다: 에이전트는 실제 세계나 손수 만든 물리 엔진을 건드리지 않고도 후보 행동의 결과를 상상하고 계획할 수 있습니다.

계보: 잠재 상상에서 인터넷 규모까지

이 아이디어에는 두 가지 뿌리가 있습니다. 강화학습에서는 “월드 모델” 계열(Ha와 Schmidhuber의 World Models, 이어서 Dreamer 계열)이 특정 환경에 대한 압축된 잠재 역학 모델을 훈련하고 모델의 상상 안에서 행동을 학습합니다 — 잠재 공간에서 계획하는 것은 실제 환경에서 행동하는 것보다 몇 자릿수 더 저렴합니다. 최근의 흐름은 이 개념은 유지하되 규모와 기계 장치를 바꿉니다: 현대의 월드 모델은 언어 및 비디오 생성과 동일한 토큰/확산 기계 장치로 구축되며 인터넷 또는 차량단(fleet) 규모의 비디오로 훈련됩니다.

• 토큰화된 자기회귀 모델(예: 주행용 GAIA-1): 비디오 프레임, 텍스트, 자아 행동이 이산 토큰으로 인코딩되고 GPT 스타일 Transformer가 다음 토큰 예측으로 훈련됩니다. 추론 시 행동 토큰을 바꾸면 “여기서 제동하면 어떻게 될까?”에 답할 수 있고 — 모델은 명시적 지도 없이 도로 위상, 차선 기하, 에이전트 행동을 학습합니다.
• 확산 기반 비디오 모델(예: 확산 Transformer 기반의 Sora): 오직 타당한 비디오를 생성하도록만 훈련되었음에도, 객체 영속성과 일관된 카메라 동작 같은 창발적 3D 일관성을 보여주며, 이는 대규모 생성이 세계에 대한 암묵적 모델을 강제한다는 것을 시사합니다.
• 월드 기반 모델 플랫폼(예: NVIDIA Cosmos): 사전 훈련된 예측 및 전이 모델로, Physical AI를 위한 재사용 가능한 인프라 — 자율주행차와 로봇 훈련을 위한 합성 데이터 생성을 포함 — 로 의도되었습니다.
• 통합된 월드 모델 + 정책(예: WorldVLA): 행동 토큰과 미래 관찰 토큰이 하나의 자기회귀 시퀀스 안에서 생성되므로, 정책과 역학 모델이 동일한 네트워크입니다 — “상상” 속에서의 롤아웃이 실행 전에 후보 행동 시퀀스를 채점할 수 있으며, 이는 생성 모델을 이용한 모델 예측 제어입니다.

이 모든 것의 배후에 있는 핵심 주장은 역학이 데이터로부터 학습될 수 있다는 것입니다 — 교통 행동, 접촉 물리, 조명 — 손으로 코딩하는 대신, 그리고 충분한 원시 비디오로 훈련된 모델은 세계가 어떻게 전개되는지에 대한 구조화된 지식을 획득한다는 것입니다.

월드 모델이 아닌 것

월드 모델을 SLAM 시스템이 구축하는 맵과 대조해 보면 유용합니다:

우측 열에서 두 가지 실용적인 주의점이 따라 나옵니다. 첫째, 환각: 생성 모델은 타당한 미래를 만들어낼 뿐 보장된 미래를 만들지 않으므로, 안전이 중요한 계획에 롤아웃을 사용하려면 근거화(명시적 맵이 제공할 수 있는 것)가 필요합니다. 둘째, 비용: SLAM 맵을 쿼리하는 것은 거의 무료이지만, 수십억 매개변수의 비디오 모델을 롤아웃하는 것은 그렇지 않습니다 — 이것이 제안된 하이브리드 아키텍처들이 월드 모델을 단기 지역 예측용으로만 남겨두는 이유입니다.

월드 모델 사용하기: 상상으로 계획하기

전형적인 사용 패턴은 학습된 모델을 이용한 모델 예측 제어(MPC)입니다. 각 제어 스텝에서:

1. 현재 관찰을 모델의 상태 $s_t$(토큰 또는 잠재)로 인코딩합니다.
2. 짧은 지평선 $H$에 걸쳐 $K$개의 후보 행동 시퀀스 $a_{t:t+H}^{(1)}, \dots, a_{t:t+H}^{(K)}$를 샘플링합니다.
3. 각 후보를 모델을 통해 롤아웃합니다: $\hat{s}_{t+1:t+H}^{(k)} \sim p_\theta(\cdot \mid s_t, a_{t:t+H}^{(k)})$ — 실제 세계와의 상호작용도, 손수 만든 시뮬레이터도 없습니다.
4. 목표(작업 보상, 목표까지의 거리, 충돌 검사)에 대해 각 상상된 궤적을 채점합니다.
5. 최고 점수 시퀀스의 첫 행동을 실행하고, 관찰하고, 반복합니다.

이는 WorldVLA가 자기회귀 롤아웃으로 실행하는 루프이자, Dreamer 계열이 잠재 공간에서 실행하는 루프와 정확히 같습니다. 계획의 품질은 3단계의 충실도에 의해 제한되며 — 이것이 현재 많은 노력이 규모(GAIA-1, Cosmos)와 명시적 기하에 대한 롤아웃의 근거화에 쏟아지는 이유입니다.

SLAM에서의 의미

월드 모델과 SLAM은 상호 보완적인 질문에 대한 수렴하는 답입니다 — “나는 어디에 있고 여기에 무엇이 있는가?”와 “다음에 무슨 일이 일어나는가?” 그럴듯한 미래의 공간 AI 스택은 전역 위치 추정과 미터법적으로 정확한 매핑에는 SLAM을 사용하고, 지역 예측과 계획(“각 후보 행동 하에서 다음 몇 초를 내 현재 맵에 근거하여 시뮬레이션하라”)은 월드 모델이 처리합니다. 월드 모델은 또한 간접적으로 SLAM 연구에 기여합니다: 학습된 SLAM 구성 요소를 훈련하기 위한 다양한 합성 센서 데이터를 생성하며(Cosmos 같은 플랫폼의 명시적 목표), 그 창발적 3D 일관성은 살아 있는 연구 질문을 제기합니다 — 대형 비디오 모델 내부에는 이미 얼마만큼의 “맵”이 잠재해 있는가, 그리고 예측-관찰 불일치가 기하학적 루프 클로저의 학습된 대안으로 쓰일 수 있는가?

관련 문서

• GAIA-1
• Sora / DiT
• NVIDIA Cosmos
• WorldVLA
• Spatial AI