World Labs / Marble
Fei-Fei Li 2025 · 논문
한 줄 요약 — Fei-Fei Li의 스타트업 World Labs가 만든 Marble은 이미지, 비디오, 또는 텍스트 프롬프트로부터 Gaussian splat 장면으로 전달되는, 지속적이고 탐색 가능한 3D 세계를 생성하며, “공간 지능(Spatial Intelligence)“을 언어 다음에 올 기반 모델의 능력으로 자리매김시킵니다.
문제
3D 장면에 도달하는 기존 경로는 두 극단에 놓여 있습니다. 재구성 방법(NeRF, 3D Gaussian Splatting)은 실제 장소를 포즈가 알려진 수십 장의 입력 이미지로 요구하며 관찰된 것만 재현합니다. 비디오 생성기(Sora, GAIA-1)는 단 하나의 프롬프트로부터 설득력 있는 영상을 만들어내지만, 그 출력은 지속적인 기저 장면이 없는 2D 픽셀 스트림입니다 — 눈을 돌렸다가 다시 보면 세계가 바뀌어 있을 수 있습니다. World Labs는 월드 모델이 “3D 세계를 재구성하고, 생성하고, 시뮬레이션”해야 하며 인간과 에이전트가 그것과 상호작용할 수 있어야 한다고 주장하며, Marble을 출력이 명시적이고 지속적인 3D 세계인 생성 모델로 구축합니다.
방법 및 아키텍처
Marble은 상용 시스템이며, 논문이나 수식, 훈련 세부사항은 공개되어 있지 않습니다. 아래는 World Labs의 발표문(“Marble: A Multimodal World Model”, 2025년 11월 12일)에서 기술된 시스템 수준의 파이프라인입니다:
- 멀티모달 프롬프트에서 3D로: Marble은 텍스트, 단일 이미지, 다중 이미지, 비디오, 또는 대략적인 3D 레이아웃을 완전한 3D 세계로 끌어올립니다. 다중 이미지 프롬프트는 서로 다른 시점을 세계의 서로 다른 부분(예: 앞면/뒷면)에 할당하며, Marble은 이를 하나의 일관된 장면으로 이어 붙입니다 — 실제 장소의 사진이나 짧은 비디오로부터 만들어진 세계도 포함합니다.
- Chisel — 구조/스타일 분리: 사용자가 대략적인 3D 기하(박스, 평면, 임포트된 에셋)를 배치하여 세계의 구조를 고정하고, 텍스트 프롬프트가 그 스타일을 제어하는 실험적 모드입니다; 둘은 어떤 조합으로도 섞일 수 있습니다.
- AI 네이티브 월드 편집: 국소적 편집(객체 제거/교체), 스타일 변경, 또는 생성된 세계의 대규모 재구조화가 가능합니다; 영역 선택적 **확장(expansion)**은 세계를 성장시키고 splat이 저하된 곳에 세부를 추가합니다; 컴포저 모드는 명시적으로 사용자가 제어하는 레이아웃 하에서 여러 개의 생성된 세계를 큰 공간으로 조립합니다.
- 내보내기: 최고 충실도 표현으로서의 Gaussian splat(World Labs의 오픈소스 THREE.js 렌더러인 Spark를 통해 브라우저 내에서 렌더링됨); 두 가지 형태의 삼각형 메쉬 — 물리용 저충실도 *충돌 메쉬(collider mesh)*와 고품질 시각 메쉬; 그리고 픽셀 정확도의 카메라 제어를 갖는 비디오 렌더링으로, 선택적으로 카메라 경로와 3D 구조를 보존하면서 동역학(연기, 화염, 흐르는 물)이 추가되어 “향상”될 수 있습니다.
- 맥락: 2024년 12월의 “Generating Worlds” 프리뷰와 2025년 10월의 실시간 프레임 모델 RTFM이 선행했으며, 공개 World API(2026년 1월)가 이어졌습니다. Fei-Fei Li의 동반 선언문은 공간 지능 — 3D 공간을 인지하고, 그에 대해 추론하고, 그 안에서 행동하는 능력 — 을 AI의 다음 프론티어로 규정합니다.
기저 모델이 공개되어 있지 않으므로 여기에 수식을 제시할 수 없습니다; 이 노트는 제품/시스템 설명으로 취급해야 합니다.
실험 결과
정량적 벤치마크는 공개되어 있지 않습니다. 공개적으로 시연된 결과는 정성적입니다: 단일 이미지, 텍스트, 다중 이미지, 비디오 프롬프트로부터 다양한 장면 유형과 예술적 스타일에 걸쳐 생성된, 탐색 가능하고 시점에 일관된 Gaussian splat 세계들; Chisel을 통한 구조 제어 생성; 편집·확장·조합된 세계들; 그리고 메쉬/비디오 내보내기(발표 게시물의 거의 모든 비디오가 Marble 세계에서 직접 렌더링되었습니다). 시연 내용은 World Labs 블로그를 참조하십시오; 해당 주장들은 독립적으로 검증될 수 없습니다.
SLAM에서의 의미
Marble은 SLAM이 만들어내는 것과 동일한 출력물 — 일관되고 렌더링 가능한 3D 장면 — 을 목표로 하지만, 측정이 아니라 사전 지식으로부터의 생성을 통해 이를 얻어내며, 이는 센서 기반 매핑이 실제로 언제 필요한가라는 질문을 더 뾰족하게 만듭니다. 그 내보내기 형식(Gaussian splat, 충돌 메쉬)은 현대 SLAM과 로보틱스 시뮬레이션이 소비하는 표현과 정확히 일치하며, 구체적인 하이브리드 활용을 암시합니다: SLAM 맵의 관찰되지 않은 영역을 타당한 기하로 채우기, 탐색을 위한 맵 사전 제공, SLAM 및 내비게이션 스택을 테스트하기 위한 포토리얼리스틱 3D 환경 공급. AI 분야에서 가장 유명한 연구자 중 한 명이 만든 상용 제품이라는 점에서, 이는 또한 공간 AI가 연구 비전에서 제품 경쟁으로 이동했음을 시사합니다.