World model
**世界モデル(world model)**とは、環境のダイナミクスを学習した生成モデルである。現在の状態(および任意で行動)が与えられると、次に何が起こるかを予測する。形式的には、次のようなものを近似する。
ここで「状態」は生のピクセル、潜在的な埋め込み、あるいは離散トークンであってよく、「行動」はロボットのコマンド、ステアリング入力、あるいは何もない(純粋な動画予測)場合もある。このモデルはロールアウトできる — 自身の予測を入力として与えることで数ステップ先までシミュレートできる — ため、内部シミュレータとして機能する。エージェントは実世界や手作りの物理エンジンに触れることなく、候補となる行動の結果を想像し、計画を立てられる。
系譜: 潜在的な想像からインターネット規模へ
このアイデアには2つの起源がある。強化学習においては、「世界モデル」の系譜(HaとSchmidhuberのWorld Models、続いてDreamerファミリー)が、特定の環境に対するコンパクトな潜在ダイナミクスモデルを学習し、モデルの想像の中で行動を学習する — 潜在空間での計画は、実環境での行動に比べて桁違いに安価である。最近の潮流はこの概念を保持しつつ、規模と機構を変えている。現代の世界モデルは、言語や動画生成と同じトークン/拡散の機構で構築され、インターネット規模あるいは車両群規模の動画で学習される。
- トークン化された自己回帰モデル(例: 運転向けのGAIA-1): 動画フレーム、テキスト、自車の行動が離散トークンにエンコードされ、GPT型のトランスフォーマーが次トークン予測で学習される。推論時に行動トークンを変えることで、「ここでブレーキをかけたらどうなるか」という問いに答える — モデルは明示的な教師データなしに道路のトポロジー、車線の幾何、他エージェントの挙動を学習する。
- 拡散ベースの動画モデル(例: Diffusion Transformerに基づくSora): 妥当な動画を生成するようにのみ学習されているにもかかわらず、創発的な3D一貫性 — 物体の永続性、一貫したカメラ運動 — を示す。これは、大規模な生成が世界の暗黙的なモデルを強制的に生み出すことを示唆している。
- 世界基盤モデルのプラットフォーム(例: NVIDIA Cosmos): Physical AI向けの再利用可能な基盤として意図された、事前学習済みの予測・転移モデルであり、自律走行車やロボットの学習用の合成データ生成を含む。
- 統一された世界モデル+方策(例: WorldVLA): 行動トークンと未来の観測トークンが単一の自己回帰シーケンスで生成されるため、方策とダイナミクスモデルが同一のネットワークとなる — 「想像」の中でのロールアウトによって、実行前に候補となる行動シーケンスを評価できる。これは生成モデルによるモデル予測制御である。
これらすべての背後にある核心的な主張は、ダイナミクスはデータから学習できるということである — 交通の挙動、接触物理、照明など — これらは手でコード化するのではなく、十分な量の生の動画で学習されたモデルは、世界がどのように進展するかについての構造化された知識を獲得する。
世界モデルではないもの
世界モデルを、SLAMシステムが構築するマップと対比すると有用である。
| SLAMマップ | 世界モデル | |
|---|---|---|
| 符号化するもの | 表面/ランドマークがどこにあるか(計量的な幾何) | 世界がどのように変化するか(ダイナミクス) |
| 性質 | 明示的、補正可能(ループクロージャ) | 暗黙的、学習された、生成的 |
| 強み | 計量的精度、安価なクエリ | 予測、未観測の未来の想像 |
| 弱み | 静的世界の仮定、予測不可 | コストが高く、幻覚を起こしやすく、計量的な保証が弱い |
右列から2つの実践的な注意点が導かれる。第一に幻覚: 生成モデルは保証された未来ではなくありうる未来を生成するため、安全性が重要な計画にロールアウトを使うにはグラウンディング(それは明示的なマップが提供できる)が必要である。第二にコスト: SLAMマップへの問い合わせはほぼ無料であるが、数十億パラメータの動画モデルのロールアウトはそうではない — これが、提案されているハイブリッドアーキテクチャが世界モデルを短期の局所予測に限定して使う理由である。
世界モデルの利用: 想像による計画
標準的な利用パターンは、学習されたモデルによるモデル予測制御(MPC)である。各制御ステップにおいて次を行う。
- 現在の観測をモデルの状態 (トークンあるいは潜在表現)にエンコードする。
- 短いホライズン にわたって 個の候補行動シーケンス をサンプリングする。
- 各候補をモデルでロールアウトする: — 実世界とのやりとりも、手作りのシミュレータも不要。
- 各想像された軌道を目標(タスク報酬、目標までの距離、衝突チェック)に対して評価する。
- 最良のシーケンスの最初の行動を実行し、観測し、繰り返す。
これは、WorldVLAがその自己回帰的ロールアウトで実行しているループそのものであり、Dreamerファミリーが潜在空間で実行しているループである。計画の質はステップ3の忠実度によって制約される — これが、規模(GAIA-1、Cosmos)や、明示的な幾何に対してロールアウトをグラウンディングすることに、現在多大な労力が注がれている理由である。
SLAMにおける意義
世界モデルとSLAMは、相補的な問いに対する収束していく答えである — 「自分はどこにいて、ここには何があるか」対「次に何が起こるか」。ありうる将来のSpatial AIスタックは、大域的な位置推定と計量的に正確なマッピングにSLAMを用い、局所的な予測と計画(「現在のマップに紐づけられた各候補行動の下で、数秒先をシミュレートする」)を世界モデルが担うというものである。世界モデルはまた、間接的にSLAM研究に貢献する。学習されたSLAMコンポーネントの学習用に多様な合成センサデータを生成すること(これはCosmosのようなプラットフォームの明示的な目標である)、そしてその創発的な3D一貫性が現在進行中の研究上の問いを提起すること — 大規模な動画モデルの内部には既に「マップ」がどれほど潜在しているのか、そして予測と観測のミスマッチは、幾何的なループクロージャの学習された代替手段として機能できるのか、といった問いである。