MASt3R-SLAM

Murai 2024 · 論文

一行要約 — 2視点3D再構成の事前分布(MASt3R)からボトムアップに設計された最初のリアルタイム高密度SLAMシステムであり、キャリブレーションされていない単眼映像から大域的に一貫した姿勢と高密度地図を15 FPSで生成する。

問題

古典的な高密度単眼SLAMはキャリブレーションされたカメラを必要とし、その幾何は深度センサーから、あるいは脆弱な多視点ステレオから得られる。実世界の映像では性能が大きく劣化する。MASt3Rはその逆のトレードオフを提供する。すなわち、ロバストでキャリブレーション不要な強力な2視点再構成・マッチングの事前分布を持つが、キーフレーム、大域的一貫性、リアルタイム動作という概念を一切持たない — その高密度マッチングだけでもペアあたり約2秒かかる。MASt3R-SLAMはこの事前分布からボトムアップに完全なSLAMシステムを構築し、その汎用性を保ちながらSLAMが必要とするすべてを追加する。

手法とアーキテクチャ

パイプライン: 各フレームは現在のキーフレームとペアにされ、MASt3Rに通される($\mathcal{F}_M(\mathcal{I}^f, \mathcal{I}^k)$)。これによりポイントマップ $\mathbf{X}$、信頼度 $\mathbf{C}$、マッチング特徴 $\mathbf{D}$、特徴信頼度 $\mathbf{Q}$ が得られる。追跡は相対姿勢を推定し、幾何をキーフレームに融合する。バックエンドは検索によってループ閉じ込みエッジを追加し、二次の大域最適化を実行する。

• Sim(3)状態、汎用カメラ: ネットワークの予測はスケールが一貫していないため、すべての姿勢は $\mathbf{Sim}(3)$ 上に存在する。$\mathbf{T} = \begin{bmatrix} s\mathbf{R} & \mathbf{t} \\ 0 & 1 \end{bmatrix}$ であり、$\mathbf{T} \leftarrow \operatorname{Exp}(\boldsymbol{\tau}) \circ \mathbf{T}$ によって更新される。カメラに関する唯一の仮定は一意なカメラ中心を持つことである。$\psi(\mathbf{X}^i_i)$ はポイントマップを単位レイに正規化するもので、各ポイントマップが自身のカメラモデルを定義する — これによりズームや歪みを無償で扱える。
• 反復的な射影マッチング: 大域的な特徴探索の代わりに、各点 $\mathbf{x} \in \mathbf{X}^j_i$ はLevenberg–Marquardt法によってそのピクセル位置を反復的に最適化することで参照フレームに投影される。$\mathbf{p}^* = \arg\min_{\mathbf{p}} \|\psi([\mathbf{X}^i_i]_{\mathbf{p}}) - \psi(\mathbf{x})\|^2$(これは $\|\psi_1 - \psi_2\|^2 = 2(1 - \cos\theta)$ よりレイ角度の最小化と等価である)。その後、局所ウィンドウ内での特徴類似度によって精緻化される。専用のCUDAカーネルはこれを約2 msで実行する — MASt3R自身のマッチングの2 sに対して、システム全体を約40倍高速化する。
• レイベースの追跡: 3D点誤差の最小化は不整合な深度予測によって歪められるため、代わりに追跡はマッチにわたる有界な角度レイ誤差を最小化する(Huberノルム $\rho$、信頼度重み $w(\mathbf{q}, \sigma_r^2)$、$\mathbf{q}_{m,n} = \sqrt{\mathbf{Q}^f_{f,m} \mathbf{Q}^k_{f,n}}$)。

$$E_r = \sum_{m,n \in \mathbf{m}_{f,k}} \left\| \frac{\psi\big(\tilde{\mathbf{X}}^k_{k,n}\big) - \psi\big(\mathbf{T}_{kf} \mathbf{X}^f_{f,m}\big)}{w(\mathbf{q}_{m,n}, \sigma_r^2)} \right\|_\rho ,$$

Gauss–Newton IRLS、$(\mathbf{J}^\top \mathbf{W} \mathbf{J}) \boldsymbol{\tau} = -\mathbf{J}^\top \mathbf{W} \mathbf{r}$ によって解かれ、純回転による退化を避けるための小さな距離項を含む。

• ポイントマップの融合: 追跡された各フレームは、実行中の信頼度重み付き平均によってキーフレームの正規化されたポイントマップを更新する。$\tilde{\mathbf{X}}^k_k \leftarrow \big(\tilde{\mathbf{C}}^k_k \tilde{\mathbf{X}}^k_k + \mathbf{C}^k_f (\mathbf{T}_{kf} \mathbf{X}^k_f)\big) / \big(\tilde{\mathbf{C}}^k_k + \mathbf{C}^k_f\big)$ — 幾何にわたるフィルタリングであるだけでなく、レイがそれを定義するためカメラモデル自体にわたるフィルタリングでもある。
• ループ閉じ込み: 新しいキーフレームは、エンコードされたMASt3R特徴から構築された増分的なASMK検索データベースに問い合わせる。検索された候補はMASt3Rによってデコードされ、十分なマッチが残ればグラフのエッジになる。
• 二次バックエンド: ゲージ自由度は最初の $\mathbf{Sim}(3)$ 姿勢を固定することで処理される。すべてのエッジ $\mathcal{E}$ にわたるレイ誤差 $E_g$($E_r$ と同じ形式で $\mathbf{T}_{ij} = \mathbf{T}_{WC_i}^{-1} \mathbf{T}_{WC_j}$)は、$7N \times 7N$ ヘッセ行列上でのスパースコレスキー分解を用いたGauss–Newton法によって最小化され、すべてのヤコビ行列は解析的でCUDA上で累積される。
• キャリブレーション済みモード: 内部パラメータが既知の場合、ポイントマップは既知のレイに沿って制約され、残差はピクセル再投影 $E_\Pi$ に切り替わる — この単純な変更が最先端の精度をもたらす。

実験結果

i9-12900K + RTX 4090上で約15 FPSで実行される(リアルタイムを模擬するため2フレームごとにサブサンプリング)。ATE RMSEはメートル単位で、スケール付きの軌道整合を用いる。

• TUM RGB-D: キャリブレーションありで平均ATE 0.030 — DROID-SLAM(0.038)、GO-SLAM(0.035)、DPV-SLAM++(0.054)より良好。キャリブレーションなしでは0.060、DROID-SLAMがGeoCalibの内部パラメータを与えられた場合の0.158に対して — キャリブレーション済みのDPV-SLAMに匹敵する。
• 7-Scenes: キャリブレーションありで平均0.047(DROID-SLAMは0.049、NICER-SLAMは0.086)。キャリブレーションなしの0.066でさえNICER-SLAMを上回る。NICER-SLAMは深度/法線/フローの事前分布を使用し、オフラインで動作する。
• EuRoC: 全11シーケンスにわたる平均0.041(グレースケール画像で学習を補強したDROID-SLAMに劣る)。
• ETH3D-SLAM: 学習シーケンスにおいて、単眼システムの中で最良の平均ATEと曲線下面積を記録 — 最も長いロバスト性のテール。
• 高密度幾何(7-Scenes): Chamferはキャリブレーションありで0.066、キャリブレーションなしで0.056であり、DROID-SLAMの0.077やSpann3Rの0.058に対して良好。
• アブレーション: 重み付きポイントマップ融合は、最新/最初/中央信頼度予測の保持より優れる。レイ誤差は3D点誤差より優れる。2 msの射影マッチャーは、完全なMASt3Rマッチングの精度(ATE 0.039 vs キャリブレーションありの0.042)に、時間の1/1000で到達する。ループ閉じ込みは姿勢と幾何の両方を改善する。

SLAMにおける意義

MASt3R-SLAMはプラグアンドプレイである。ズームや歪みが変化するようなカメラも含め、任意のカメラからの映像に対して用いれば、深度センサーもキャリブレーション手順もシーンごとの学習もなしに、大域的に一貫した高密度な幾何を得られる。これは単眼高密度SLAMに期待されるべきことの基準を再定義し、そのアーキテクチャ(学習された2視点事前分布+古典的なSim(3)グラフ最適化)は、現在多くの基盤モデルSLAMシステムが従うテンプレートとなっている。

ハンズオン

• MASt3R-SLAMを実行する

関連ノート

• MASt3R
• DUSt3R
• DROID-SLAM
• VGGT-SLAM
• MASt3R-Fusion
• Covisibility graph