Kimera / 3D Dynamic Scene Graph

Rosinol 2020 · 論文

一行要約 — メッシュ、オブジェクト、エージェント、場所、部屋、建物にまたがる階層的な実行可能な世界モデルである3D Dynamic Scene Graph（DSG）と、オープンソースのメトリック・セマンティックSLAMライブラリKimeraを用いてステレオ＋IMUデータからそれを構築する、最初の完全自動Spatial PerceptIon eNgineであるSPINを提案する。

問題

幾何的SLAMは点群、メッシュ、ボリューメトリックモデルといったメトリックマップを生成するが、これらは平坦で構造化されていない。メトリック・セマンティックマッピングはラベルを追加するが、非階層的なままである: どちらも「高層ビルの2階で生存者を捜索せよ」のような指示を意味づけたり、モーションプランニング（精密なメッシュ）とタスクプランニング（抽象的な概念）の両方に一つの表現から供給したりすることはできない。初期の階層的マップは2Dで静的、かつ深層学習以前のものであり、ArmeniらとKimらによる先駆的な3Dシーングラフは半自動またはオフラインで構築され、traversability（通行可能性）のような実行可能な情報を捉えず、動的な実体を無視していた。本論文は、移動するエージェント — 特に人間 — を、視覚慣性データから自動的に構築された一つの階層的空間表現の内部でどう表現するかを問う。

手法とアーキテクチャ

DSGは、ノードが空間的に位置づけられたセマンティックな概念であり、辺がペアワイズの時空間的関係（「エージェントAは時刻ttに部屋Bにいる」）である階層的な有向グラフである。単一フロアの屋内シーンに対する5つの層:

  1. メトリック・セマンティックメッシュ — 位置、法線、RGB、パノプティックラベルを持つ頂点；面はトポロジーを定義する。
  2. オブジェクトとエージェント — オブジェクトは姿勢、バウンディングボックス、クラスを持つ；エージェント（人間、ロボット）はタイムスタンプ付きの3D姿勢グラフ、メッシュモデル、クラスを持つ。
  3. 場所と構造 — 場所は自由空間をサンプリングし、辺は直線的な通行可能性（プランニング用のトポロジカルマップ）を符号化する；構造は壁/床/天井である。
  4. 部屋 — 隣接（ドア）辺で結ばれ、それぞれが含む場所にリンクされる。
  5. 建物 — すべての部屋に接続されたルートノード。この階層は合成的である（例えば、複数階の建物のために「レベル」層を挿入できる）。

SPINパイプライン（入力: ステレオ＋IMU；メッシュとエージェントはリアルタイムで逐次構築され、上位層は実行終了時に構築される）:

実験結果

フォトリアリスティックな65m x 65mのUnityオフィス（公開されているuHumansデータセット: 12人、24人、60人のuH_01/02/03）とEuRoCで評価:

SLAMにおける意義

この論文は、視覚慣性SLAMと密な人間メッシュ追跡を統合し、SLAMを「空間認知エンジン」へと一般化した — SLAMは、関係、動態、抽象化も推論するシステムの中の一つのモジュールになる。DSGのバウンディングボリューム階層は高速な衝突検出を可能にし、その場所グラフは階層的プランニングを可能にし、その階層的プルーニングは長期自律性のための原理的なマップ圧縮を可能にする。Kimeraはメトリック・セマンティックSLAMのデフォルトのオープンソース研究プラットフォームとなり、DSGデータ構造は直接Hydraへ、そして階層的シーングラフの系譜全体へと種を植えた。

ハンズオン

関連ノート