Khronos

Schmid (MIT SPARK) 2024 · 論文

一行要約 — Hydraのシーングラフ路線を動的環境に拡張する統一的な時空間メトリック・セマンティックSLAMであり、オブジェクトの出現・移動・消失という履歴全体を追跡する。

問題

動的SLAM研究は、変化する環境において正確にロボット姿勢を推定する方向で大きく進展したが、環境そのものの密な時空間表現を構築することにははるかに少ない重点が置かれていた。長期的な自律性には、短期的な動態（人が通り過ぎる）と長期的な変化（訪問の間に家具が並べ替えられる）の両方を扱う推論が必要であり、これまで移動物体追跡と変化検出という2つの文献は互いに切り離されていた。Khronosは時空間メトリック・セマンティックSLAM（SMS）問題を定義する: 現在の時刻$T$の任意の時点において、すべての過去の時刻$t \leq T$におけるシーンの状態を推定する。

手法とアーキテクチャ

シーンは、表面測定値$Z$とオドメトリ$\Phi$を通じて観測される一連のオブジェクト$O_i^t = \{\Omega_i^t,\ T_{WO_i}^t,\ L_i\}$（表面、姿勢、セマンティックラベル；背景は1つの静的オブジェクト$O_{BG}$である）として表される。SMSはMAP推定として定式化される:

$$O^{\star}, X^{\star} = \arg\max_{O,X}\ \mathbb{P}(O, X \mid Z, \Phi).$$

これは直接的には扱えない — 測定値とマップの間の不一致は、ノイズ、ドリフト、動き、あるいは変化のいずれからも生じ得るからである。鍵となる仮定は時空間局所整合性（spatio-temporal local consistency）であり、短い区間$\tau$の間は状態推定誤差もシーンの変化も小さいというものである。これによりKhronosは潜在的なオブジェクトフラグメント$Y_k = \{\Omega_k,\ T_{RY_k},\ L_k\}$（局所的に整合した時間ウィンドウにわたって蓄積されたオブジェクトの部分的視野）を導入し、問題を因数分解する（式16）:

$$\mathbb{P}(O, X, Y, A \mid Z, \Phi) = \underbrace{\prod_i \mathbb{P}(O_i \mid \bar{Y}_i, X)}_{\text{fragment reconciliation}}\ \underbrace{\mathbb{P}(X, A \mid Y, \Phi)}_{\text{SLAM}}\ \underbrace{\prod_k \mathbb{P}(Y_k \mid \bar{Z}_k, \bar{\Phi}_k)}_{\text{local estimation}},$$

ここで$A$はフラグメントとオブジェクトを関連付ける。短期的な動態は完全に高速なローカル項に存在し、長期的な変化はより低速な大域項に存在する。システムは3つの要素から構成される:

• アクティブウィンドウ（局所推定）。 逐次的なTSDF融合が背景メッシュ$\Omega_{BG}$を再構成する；フレームごとの候補オブジェクトは、セマンティックマスクと幾何的な動き検出（以前観測された自由空間に落ちる点は動的であるはずである）から得られる。観測値はボリューメトリックIoUによって貪欲にオブジェクト仮説に関連付けられる；観測数が$\tau_Z = 15$未満の仮説、または移動距離が$\tau_D = 1$m未満の「動的」仮説は棄却される。静的オブジェクトは適応解像度メッシュになり、動的オブジェクトは点群の系列になる。
• 大域最適化。 ロボット姿勢$X$、メッシュ制御点$P_M$、フラグメント姿勢$T_{WY_k}$（それぞれ最初/最後に観測された姿勢に結びつく）にわたる変形グラフが、候補となる辺（フラグメント間関連$\mathcal{E}_{YY}$とループクロージャ$\mathcal{E}_{LC}$）に対する二値スイッチ$\omega_{ij}$を伴うロバスト姿勢グラフ最適化として解かれる:

$$\mathcal{T}^{*} = \arg\min_{\mathbf{T}_1,\dots,\mathbf{T}_n,\ \omega_{ij}\in\{0,1\}} \sum_{(i,j)\in\mathcal{E}_{obs}} \lVert \mathbf{T}_i^{-1}\mathbf{T}_j \boxminus \bar{\mathbf{T}}_{ij} \rVert^2_{\Lambda_{ij}} + \sum_{(i,j)\in\mathcal{E}_{can}} \Big( \omega_{ij} \lVert \mathbf{T}_i^{-1}\mathbf{T}_j \boxminus \bar{\mathbf{T}}_{ij} \rVert^2_{\Lambda_{ij}} + (1-\omega_{ij})\,\bar{c}^2 \Big).$$

• リコンシリエーション（変化検出）。 「レイのライブラリ」は、各背景頂点$\mathbf{p}_v$について、それを観測したロボット位置$\mathbf{p}_r$を保存する。フラグメント表面点$\mathbf{p}_q$を近傍のレイと照合すると、そのオフレイ距離$d_r = \lVert (\mathbf{p}_q - \mathbf{p}_r) \times (\mathbf{p}_r - \mathbf{p}_v) \rVert / \lVert \mathbf{p}_q - \mathbf{p}_r \rVert$とレイに沿った深さ$d_d$が得られる: より浅い深さは不在の証拠であり、類似した深さ（30cm以内）は存在の証拠である。オブジェクトの出現/消失時刻は、最後の不在証拠と最初の存在証拠の間のウィンドウの中間として推定される（一様事前分布下での期待誤差最小化）。

実験結果

密な時空間正解データを持つ2つのフォトリアリスティックなTESSEシミュレーションシーン — Apartment（87秒、約39m、64個の静的オブジェクトと10個の動的オブジェクト、6件の長期変化）とOffice（217秒、約181m、196個のオブジェクト、6個の動的オブジェクト、8件の変化） — で、それぞれ正解姿勢とKimera VIOオドメトリの両方で評価し、Hydra、Dynablox、Panoptic Mapping（すべて8cm解像度、5m範囲）と比較:

• Apartment（正解姿勢）、F1スコア: 背景再構成91.2（Hydra 87.7、Dynablox 86.2、Panoptic Mapping 70.3）；オブジェクト75.3（Hydra 42.3、Panoptic Mapping 64.3）；動的オブジェクト84.1（Dynablox 61.3）；変化64.6（Panoptic Mapping 56.1）。
• ドリフトのあるKimeraオドメトリを用いたOffice: Khronosは背景（F1 67.6）とオブジェクト（F1 73.1）で最良のスコアを維持する；Panoptic Mappingの変化検出精度は、Khronosの共同時空間最適化と変形可能な変化検出なしでは崩壊する（9.6対Khronosの25.8）。
• セグメンテーション非依存: 正解セマンティクスをオープンセットのSAM + CLIPフロントエンドに置き換えても高い性能を維持する（Apartment、正解姿勢: 変化F1 64.4対64.6）。
• 実機ロボット: Jackal UGV（メザニンシーン）とBoston Dynamics Spotによる大学の建物1フロア全体で、Khronosは意図的に構成されたオブジェクトの出現/消失および短期的な動き（人、押されたカート）を正しく捉える。
• リアルタイム性: アクティブウィンドウのフレーム処理は、この因数分解のおかげでほぼ一定の時間複雑度で45.5 ± 9.2 ms（平均22.2 FPS）である。

SLAMにおける意義

ほぼすべての古典的SLAMは静的な世界を仮定しているが、これはオブジェクトが常時移動する家庭、倉庫、オフィスでの長期運用では破綻する。Khronosは動態を除去すべき対象ではなくモデル化し記憶すべき対象として再定義し、そのフラグメント因数分解はそれをリアルタイムに実現する方法を示す: センシングノイズ、ロボットのドリフト、動き、シーンの変化それぞれに独自の項が与えられる。これはKimera → Hydraというメトリック・セマンティックシーングラフの系譜の上に構築される長期自律性の鍵となる構成要素である。

関連ノート

• Hydra — Khronosが拡張するリアルタイムシーングラフシステム
• Clio — 同じ研究室によるタスク駆動のオープンセットシーングラフ
• Kimera / 3D Dynamic Scene Graph — 動的シーングラフの発想の起源
• SAM 2 — 動的な実体の追跡に有用な動画セグメンテーション
• DynaSLAM — Khronosが超えていく古典的な「動態を除去する」アプローチ
• Robust pose-graph optimization — 式17の背後にある切り替え可能制約の仕組み