SpatialLM
Mao 2025 · 論文
一行要約 — 既製のLLMをファインチューニングして3D点群を入力させ、壁・ドア・窓・向き付き物体ボックスといった構造化された屋内モデルをPythonのdataclassスクリプトとして出力させ、LLMの推論を3D空間構造に接地させる。
問題
構造化された屋内モデリング——生のRGBDスキャンから建築的レイアウト(壁・ドア・窓)と3D物体バウンディングボックスを復元すること——は、タスク特化型ネットワーク(RoomFormerのポリゴンクエリ、V-DETRの検出ヘッド)や、ドメイン特化トークンを持つ独自の自己回帰デコーダ(SceneScript)の領域であった。一方でLLMは推論とコード生成に優れているが、3D空間への接地を持たない。単純にLLMをこのタスクにファインチューニングすることを妨げていたのは2つの要因である。点群と構造化された3D注釈を対にした大規模で高品質なデータセットが存在しないこと、そして点群入力をLLMとどう整合させるかという実証的な理解が存在しないことである。SpatialLM(テックレポート: arXiv 2506.07491、NeurIPS 2025)はこの両方に取り組む。
手法とアーキテクチャ
- 標準的な「エンコーダ–MLP–LLM」パイプライン — 専用デコーダは用いない。点群エンコーダはシーンをLLM向けの短い視覚トークン列に圧縮する。
ここで各点はXYZ+RGBを持つ。選ばれたエンコーダはSonata(エンコーダのみの自己教師あり Point Transformer V3 変種)、2層MLPプロジェクタ、ベースLLMとしてのQwen2.5-0.5B(合計603.5Mパラメータ、公開チェックポイントにはLlama-1B変種も含まれる)。
- シーン記述をPythonコードとして表現する。 出力はプレーンテキストである。壁/ドア/窓に対するdataclass風スクリプト(例:
class Wall: a_x, a_y, a_z, b_x, b_y, b_z, height)と、59の物体カテゴリにわたる向き付きバウンディングボックスである。コードは人間が編集可能で、新しいクラスにも拡張可能であり、LLM組み込みのコーディング能力を活用する。SceneScriptのドメイン特化トークンとは異なり、カスタム語彙は不要である。 - SpatialLMデータセット。 プロが作成した室内デザインからパースされた12,328個の合成シーン(54,778の部屋)を、シミュレートされたカメラ軌跡沿いに(0.5 mごとに画像)フォトリアリスティックにレンダリングしたもの。訓練/検証/テストは11,328/500/500に分割。これは実データの注釈付きデータセット(レイアウトラベル付きの部屋1,151室のSceneCAD)を大きく上回る規模である。
- 実証的なアライメント研究。 点ごとのDINOv2特徴を素朴にトークン削減する方法(ボクセル化または最遠点サンプリング)は物体F1がほぼゼロに崩壊する——空間情報が失われすぎるためである。学習型エンコーダ(スパース3DCNN、Sonata)は機能し、Sonataが最良である(レイアウトF1は[email protected]で84.6、3DCNNの79.4に対して)。エンコーダの空間解像度を倍にする(K ≈ 510トークン)ことは有効(物体F1が[email protected]で49.4 → 61.1に向上)だが、4倍にすると悪化する。エンコーダ・MLP・LLMをすべて学習可能にした単一ステージ訓練は、あらゆる2段階・3段階の凍結スケジュールを上回る。
- 評価指標: IoU閾値0.25/0.5でのHungarianマッチングされたF1——レイアウトについては投影平面セグメントの2D IoU、物体ボックスについては3D IoU(自己回帰モデルは信頼度スコアを出力しないため、mAPではなくF1を用いる)。
実験結果
- レイアウト推定(Structured3D): 自前データセットで事前学習した後Structured3DでファインチューニングしたSpatialLMはF1 94.3 / 93.5([email protected]/0.5)に達し、専門モデルのRoomFormer(83.4/81.4)やSceneScript(90.4/89.2)を上回る。Structured3Dのみでの訓練では32.6/18.1にとどまる——大規模な事前学習データセットこそがLLMファインチューニングを実用的にする要因である。
- 3D物体検出(ScanNet、18クラス、F1): 事前学習+ScanNetファインチューニングは65.6 / 52.6を記録し、SceneScriptの49.1/36.8を上回り、専門モデルのV-DETR(65.1/56.8)には[email protected]で先行、0.5では後れをとる。取りこぼしの多くは最小の物体(絵画、シンク)である。ScanNetのみの訓練は崩壊する(2.9/0.7)。
- ビデオ再構成に対するゼロショット: MASt3R-SLAMで再構成された107本の屋内ツアー動画——ノイズが多く、オクルージョンやアーティファクトの多い点群——において、SpatialLMはファインチューニングなしで整合的なレイアウトと完全な物体ボックスを生成し、コンテキストから未観測領域を補完する(床まで延長されたベッド、妥当なバルコニー/ダイニングのレイアウトなど)。
SLAMにおける意義
SpatialLMは、セマンティックマッピングがどこへ向かっているかを示している。ラベル付き点群(OpenScene、ConceptFusion)やシーングラフ(ConceptGraphs)から、LLMが直接パースし操作できる表現への移行である。SLAMシステムは点群を提供する——論文自体のデモパイプラインは単眼ビデオ上でMASt3R-SLAMを走らせている——そしてSpatialLMはそれを、コンパクトで編集可能な機械可読な空間記述へと変換する。これはシーン編集、AR、ロボットナビゲーション、デジタルツイン、身体性AIに有用である。