Photo-SLAM

Huang 2024 · 論文

一行要約 — 明示的なORB特徴点による幾何情報(ファクターグラフによるローカリゼーション用)と、3DGSでレンダリングされる学習済み測光属性を結合した「ハイパープリミティブ」マップにより、モノキュラー、ステレオ、RGB-Dカメラ向けのリアルタイムなフォトリアリスティックSLAMを実現する — Jetson AGX Orin上でも動作する。

問題

ニューラルレンダリングSLAMは、位置推定とフォトリアリスティックな再構成を同時に行う有望な結果を示してきたが、「暗黙表現に完全に依存する既存手法は非常にリソースを消費するため、ポータブルデバイス上では動作できず、これはSLAM本来の意図から外れている」。NICE-SLAM/ESLAM系のシステムは、レイサンプリング損失によって姿勢を最適化するが、これは低速であり、収束には深度(または深度予測器)が必要であり、事前に定義された境界ボリュームを必要とする。Photo-SLAMの答えは分業である: ローカリゼーションには明示的な幾何特徴を、外観には学習された測光特徴を用い、密な深度への依存はない。

手法とアーキテクチャ

ローカリゼーション、幾何マッピング、フォトリアリスティックマッピング、ループ閉じ込みの4つの並列スレッドが、共同でハイパープリミティブマップを維持する: それぞれのポイントクラウド $\mathbf{P}\in\mathbb{R}^{3}$ は、ORB特徴 $\mathbf{O}\in\mathbb{R}^{256}$、回転 $\mathbf{r}\in SO(3)$、スケーリング $\mathbf{s}\in\mathbb{R}^{3}$、密度 $\sigma$、球面調和係数 $\mathbf{SH}\in\mathbb{R}^{16}$ を持つ。ORB特徴は2D-2D/2D-3D対応に用いられ、測光属性はスプラッティングベースのレンダリングに用いられる。

• ローカリゼーション(モーションオンリーBA): マッチしたキーポイント $\mathbf{p}_i$ とマップ点 $\mathbf{P}_i$ の再投影誤差に対するLevenberg-Marquardtによるファクターグラフとして解かれる:

$$\{\mathbf{R},\mathbf{t}\}=\mathop{\arg\min}\limits_{\mathbf{R},\mathbf{t}}\sum_{i\in\mathcal{X}}\rho\left(\lVert\mathbf{p}_{i}-\pi(\mathbf{R}\mathbf{P}_{i}+\mathbf{t})\rVert^{2}_{\Sigma_{g}}\right),$$

ここで $\pi$ は投影、$\rho$ はHuberコスト、$\Sigma_g$ はキーポイントのスケール共分散である。幾何マッピングは共視性のあるキーフレームと点に対してローカルBAを実行する — トラッキングはレンダリングの収束に依存しない。

• フォトリアリスティックマッピング: ハイパープリミティブはタイルベースのレンダラー(SHから導かれる色を用いた3DGSのアルファブレンディング)によってラスタライズされ、測光損失によって $\mathbf{P},\mathbf{r},\mathbf{s},\sigma,\mathbf{SH}$ が最適化される:

$$\mathcal{L}=(1-\lambda)\left|I_{\text{r}}-I_{\text{gt}}\right|_{1}+\lambda\left(1-\text{SSIM}(I_{\text{r}},I_{\text{gt}})\right), \qquad \lambda=0.2 .$$

• 幾何ベースの高密度化: 2D特徴点のうち三角測量された3D点を持つものは約30%未満であり、そうでない点はテクスチャの複雑な領域を示す。そのため、一時的なハイパープリミティブがそこに生成される — 深度はセンサから(RGB-D)、最も近いアクティブ特徴から(モノキュラー)、あるいはステレオマッチングから(ステレオ)得られる — これは標準的な勾配ベースの分割/クローン処理に加えて行われる。
• ガウシアンピラミッド(GP)学習: 学習対象は最も粗いピラミッドレベルからフル画像へと進む。$t_{0}:\arg\min\mathcal{L}(I^{n}_{\text{r}},\text{GP}^{n}(I_{\text{gt}}))\;\dots\;t_{n}:\arg\min\mathcal{L}(I^{0}_{\text{r}},\text{GP}^{0}(I_{\text{gt}}))$ — マルチレベルの特徴は段階的に学習される(デフォルトで3レベル)。アブレーションでは、これがモノキュラー入力において最も重要であることが示されている。
• ループ閉じ込みは、キーフレームとハイパープリミティブを相似変換によって補正し、ドリフトによる二重像(ghosting)を除去する。システム全体はC++/CUDAで構築されている(ORB-SLAM3、3DGS、LibTorchをベースとする)。

実験結果

デスクトップ = RTX 4090; ラップトップ(RTX 3080 Ti)およびJetson AGX Orinでも変更なしに実行:

• Replica、モノキュラー: ATE RMSE 1.091 cm、PSNR 33.302 / SSIM 0.926 / LPIPS 0.078、レンダリング911 FPSを2分未満で達成 — Go-SLAMの71.05 cm / 21.17 dB / 0.821 FPSレンダリングに対して。Jetson上では: 1.235 cm、29.28 dB、GPUメモリ4 GBでレンダリング95 FPS。
• Replica、RGB-D: 0.604 cm、PSNR 34.958でレンダリング1084 FPS(2分未満) — Point-SLAMの34.632 dB、レンダリング0.510 FPS、2時間以上に対して — アブストラクトの言う「PSNRは30%高く、レンダリング速度は既存のオンラインシステムに対して数百倍速い」に対応する。
• TUM、モノキュラー: fr1-desk / fr2-xyz / fr3-officeでそれぞれ1.539 / 0.984 / 1.257 cmであり、ORB-SLAM3と同等の精度を保ちながらフォトリアリスティックマッピングを追加する一方、Go-SLAMは33〜106 cmにとどまる。
• ステレオ: EuRoC MAVでの定量的結果; 論文はこれを「ステレオカメラでオンラインフォトリアリスティックマッピングをサポートする最初のシステム」と呼んでおり、加えてZED 2による屋外ハンドヘルドシーンの定性的結果も示す。
• アブレーションにより、幾何ベースの高密度化が十分なプリミティブを供給し、GP学習がそれらを十分に最適化することを確認し、リアルタイム速度でのPSNRを改善する。

SLAMにおける意義

Photo-SLAMは、フォトリアリスティックな3DGS SLAMがデスクトップGPUだけでなく組み込みロボットプラットフォーム上でもリアルタイムに動作可能であることを示した。堅牢性のための古典的な特徴点ベーストラッキングと、外観のためだけのガウシアンスプラッティングを分離するそのテンプレートは、実用的なガウシアンSLAMの標準的なアーキテクチャの一つとなった(GS-ICP SLAMが「分離型」の代替案として比較対象とするデザインでもある)。また、成熟した古典的フロントエンド(ORB-SLAM3)と最新のマップバックエンドの組み合わせが、精度を犠牲にせず効率でエンドツーエンド設計を上回れることを示す実例でもある。

関連ノート

• SplaTAM
• ORB-SLAM3
• RTG-SLAM
• MonoGS
• GS-ICP SLAM