GAIA-1

Wayve 2023 · 논문

한 줄 요약 — GAIA-1(“Generative AI for Autonomy”)은 비디오, 텍스트, 자아 차량 행동을 입력으로 받아 자아 차량 행동에 대한 세밀한 제어를 통해 현실적인 미래 주행 시나리오를 생성하는 생성적 월드 모델로, 원시 주행 데이터로부터 도로 행동의 묵시적 규칙을 학습합니다.

문제

실제 세계의 무질서한 복잡성을 안전하게 주행할 수 있는 자율 주행 시스템을 구축하는 것은 여전히 어려운 일이며, 핵심적인 하위 문제는 예측입니다: 세계가 전개됨에 따라 차량의 행동에 대한 반응으로 나타날 수 있는 다양한 잠재적 결과를 예측하는 것입니다. 기존의 월드 모델은 레이블된 데이터 또는 저차원 시뮬레이션 표현에 의존했으며 복잡한 실제 장면의 현실적인 샘플을 생성할 수 없었고, 비디오 생성기는 설득력 있는 픽셀을 생성하지만 전개되는 세계 역학에 대한 표현이 약합니다. GAIA-1은 두 가지의 장점을 모두 유지하는 것을 목표로 합니다: 생성적 비디오 모델의 확장성과 현실성, 그리고 월드 모델의 미래에 대한 의미 있는 표현입니다.

방법 및 아키텍처

GAIA-1은 세 가지 훈련 가능한 구성 요소를 가집니다: 이미지 토크나이저, 자기회귀 월드 모델, 비디오 확산 디코더.

• 이미지 토크나이저 (0.3B): 완전 합성곱 2D U-Net 이산 오토인코더가 각 $288\times 512$ 프레임을 $D=16$만큼 다운샘플링하여, 어휘 $K=8192$를 갖는 $n = 18\times 32 = 576$개 토큰을 생성합니다(약 $470\times$ 비트 압축). 이미지 재구성 손실($L_1$, $L_2$, 지각적, GAN), 양자화 손실, 그리고 사전 훈련된 DINO 특징의 코사인 유사도 증류인 귀납적 편향 손실로 훈련되어 토큰을 고주파가 아닌 의미론적으로 만듭니다.
• 통합 토큰 시퀀스: 각 시간 단계마다 텍스트–이미지–행동 토큰이 인터리브됩니다: 텍스트는 동결된 T5-large를 통해($m=32$ 토큰), 행동은 $l=2$개 스칼라(속도, 곡률)로 선형 임베딩되며, 모두 인수분해된 시공간 위치 임베딩과 함께 공유된 $d=4096$ 공간에 존재합니다. 비디오는 6.25 Hz로 서브샘플링되며; $T=26$ 프레임(4초)은 전체 시퀀스 길이 $T(m+n+l) = 15{,}860$을 줍니다.
• 월드 모델 (6.5B): 과거의 모든 토큰이 주어지면 다음 이미지 토큰을 예측하도록 훈련된 인과 마스킹을 갖는 자기회귀 Transformer입니다:

$$L_{\text{world model}} = -\sum_{t=1}^{T}\sum_{i=1}^{n} \log p\big(z_{t,i} \mid \mathbf{z}_{<t},\; z_{t,j<i},\; \mathbf{c}_{\leq t},\; \mathbf{a}_{<t}\big)$$

여기서 $z_{t,i}$는 이미지 토큰, $\mathbf{c}$는 텍스트 토큰, $\mathbf{a}$는 행동 토큰입니다. 조건화 드롭아웃(무조건/행동/텍스트 20%/40%/40%)은 하나의 모델이 무조건, 행동 조건부, 텍스트 조건부 생성을 모두 수행하게 합니다.

• 비디오 디코더 (2.6B): 인수분해된 공간/시간 어텐션을 갖는 3D U-Net 비디오 확산 모델로, $\mathbf{v}$-매개변수화를 사용한 노이즈 제거 목적 함수로 다중 작업(이미지 생성, 비디오 생성, 순방향/역방향 자기회귀 디코딩, 보간)으로 훈련됩니다:

$$L_{\text{video}} = \mathbb{E}_{\epsilon, t'}\Big[\big\lVert \epsilon_\theta(\mathbf{x}^{t'}, t', \mathbf{z}, \mathbf{m}) - \epsilon \big\rVert_2^2\Big]$$

여기서 $\mathbf{x}^{t'} = \alpha_{t'}\mathbf{x} + \sigma_{t'}\epsilon$은 노이즈가 추가된 비디오, $\mathbf{z}$는 조건화 이미지 토큰, $\mathbf{m}$은 작업별 마스크입니다. 토큰을 픽셀로 렌더링하고 6.25 Hz를 12.5 Hz, 25 Hz로 시간적으로 업샘플링하며(DDIM, 50 스텝), 안정성을 위해 마지막 프레임부터 역방향으로 디코딩합니다.

• 추론: argmax 샘플링은 반복적인 루프에 갇히고 전체 샘플링은 신뢰할 수 없는 분포 꼬리에 부딪히므로, top-k 샘플링이 사용되며; 긴 롤아웃은 슬라이딩 윈도우를 사용합니다. 텍스트 준수는 classifier-free guidance를 사용합니다, $l_{\text{final}} = (1+t)\, l_{\text{conditioned}} - t\, l_{\text{unconditioned}}$, 안내는 토큰과 프레임에 걸쳐 스케줄되며, 부정 프롬프팅은 무조건 로짓을 대체하여 수행됩니다.

실험 결과

25 Hz의 4,700시간 분량의 독점적인 런던 도심 주행 데이터(2019–2023년, 약 4억 2천만 개 이미지)에서 특징 균형 샘플링으로 훈련되었습니다; 검증은 엄격한 지오펜스가 적용된 별도의 400시간입니다. 월드 모델은 64개의 A100 80GB GPU에서 15일 동안 100k 스텝으로 훈련되었으며; 디코더는 32개의 A100에서 300k 스텝으로 훈련되었습니다. GAIA-1은 LLM과 유사한 스케일링 법칙을 따릅니다: 0.65M에서 650M 매개변수까지의 모델(토큰당 컴퓨팅 $C=6N$)에 거듭제곱 법칙 $f(x) = c + (x/a)^{b}$를 피팅한 결과, $20\times$ 미만의 컴퓨팅을 사용한 실행으로부터 최종 6.5B 모델의 검증 교차 엔트로피를 정확하게 예측했으며, 외삽 결과 더 많은 데이터와 컴퓨팅으로부터 상당한 여지가 있음을 나타냅니다. 시연된 능력은 정성적입니다(표준 벤치마크 수치는 보고되지 않음): 안정적인 수 분 길이의 완전히 상상된 주행; 하나의 비디오 프롬프트로부터 여러 타당한 미래(양보 상호작용, 로터리 선택, 다양한 교통); 날씨와 조명의 텍스트 제어; 그리고 분포 밖으로 외삽하는 행동 제어 — 전문가 데이터에서 전혀 본 적 없는, 자아 차량이 차선 밖으로 조향하도록 강제하면 기하학적으로 정확한 장면과 반응적인 에이전트(다가오는 차량이 충돌을 피하기 위해 회피 동작을 함)가 생성됩니다.

SLAM에서의 의미

GAIA-1은 자율 주행에서 “시뮬레이터로서의 월드 모델”이라는 템플릿을 확립했습니다: 수작업 물리와 행동 규칙(CARLA 스타일 시뮬레이터) 대신, 역학이 원시 데이터로부터 학습되고 생성적으로 질의되어 다양한 합성 훈련 시나리오를 생성합니다. 3D 기하학에 대한 창발적 이해(과속 방지턱에서의 피치/롤, 일관된 도로 배치)는 순전히 다음 토큰 예측으로부터 나왔습니다. 이는 NVIDIA Cosmos와 같은 이후의 월드 기반 모델에 직접적인 영감을 주었습니다. SLAM 연구자들에게 이는 명시적 미터법 맵이 묵시적으로 학습된 역학과 어떻게 연결되어야 하는가라는 공간 AI의 핵심 질문을 제기합니다 — 예를 들어, 계획을 위해 월드 모델이 짧은 시간 범위의 미래를 상상하는 동안 위치 추정을 위해 SLAM을 사용하는 것입니다.

관련 문서

• World model
• Sora / DiT
• NVIDIA Cosmos
• WorldVLA
• Spatial AI