GLOMAP

Pan 2024 · 論文

一行要約 — グローバルなStructure-from-Motionを再検討し、個別の並進平均化をカメラと点の同時グローバルポジショニングステップに置き換えることで、精度でインクリメンタルSfM(COLMAP)に匹敵しながら圧倒的に高速であることを示した。

問題

SfMの解法は2つのパラダイムに分かれる。インクリメンタルSfM(COLMAP)は画像を1枚ずつ登録し、繰り返しバンドル調整を行う。精度とロバスト性は高いが、「コストの高い繰り返しバンドル調整」がスケーラビリティを制限する。グローバルSfMはすべてのカメラを一度に復元し「桁違いに高速」だが、これまでインクリメンタル手法の精度に匹敵したことはなかった — そのギャップは「グローバル並進平均化のステップにある」。これは2視点並進のスケールあいまいさ(歪んだトリプレットがノイズを増幅する)、2視点幾何を分解するための正確な内部パラメータへの依存、そして系列データでよく見られるほぼ共線的な(前方への)運動下での縮退という問題に苦しむ。GLOMAPはこのギャップを解消しようとした。

手法とアーキテクチャ

2つの構成要素がある: 対応関係探索(特徴、マッチング、2視点幾何F/E/H\mathbf{F}/\mathbf{E}/\mathbf{H}、視図グラフのキャリブレーション、相対姿勢推定)とグローバル推定である。

arg min⁡R∑i,jρ(d(Rj⊤RijRi,I)p)\operatorname*{arg\,min}_{\mathbf{R}}\sum_{i,j}\rho\left(d(\mathbf{R}_{j}^{\top}\mathbf{R}_{ij}\mathbf{R}_{i},\mathbf{I})^{p}\right)

著者らによるChatterjeeらの実装を用いる。結果と整合しない相対姿勢(Rij\mathbf{R}_{ij}とRjRi⊤\mathbf{R}_{j}\mathbf{R}_{i}^{\top}の間の角度距離)はフィルタして除去される。

arg min⁡X,c,d∑i,kρ(∥vik−dik(Xk−ci)∥2),s.t.dik≥0\operatorname*{arg\,min}_{\mathbf{X},\mathbf{c},d}\sum_{i,k}\rho\left(\|\mathbf{v}_{ik}-d_{ik}(\mathbf{X}_{k}-\mathbf{c}_{i})\|_{2}\right),\quad\text{s.t.}\quad d_{ik}\geq 0

Huber損失ρ\rho、Levenberg–Marquardt(Ceres)を用い、すべての変数は[−1,1][-1,1]の範囲で一様ランダムに初期化され、dik=1d_{ik}=1とする。最適なdikd_{ik}に対して、各項の誤差は角度θ<π/2\theta<\pi/2でsin⁡θ\sin\thetaに等しく、それ以上では1に飽和する — 有界で外れ値にロバストな誤差であり、その双線形形式のおかげでランダム初期化からも信頼性高く収束する。誤差が相対並進ではなくカメラレイ上で定義されているため、悪い内部パラメータは個々のカメラのみに偏りを生じさせ、前方/側方運動ももはや縮退しない。

実験結果

SLAMにおける意義

COLMAPのようなSfMツールは、正解軌道、オフラインマップ、NeRF/3DGSや学習ベースSLAM向けの学習データを生成する標準的な手段である。GLOMAPはこのオフラインマッピングのステップを大規模に大幅に安価にし、インクリメンタルパイプラインが唯一のロバストな選択肢とみなされていた10年を経て、グローバルSfMを本格的な汎用パラダイムとして復権させた — この流れはInstantSfMのようなGPUネイティブなシステムに継続されている。概念的には、その「すべてを同時に解く」という姿勢はSLAMバックエンドのグローバルバンドル調整を反映しており、そのレイベースのグローバルポジショニングは、脆弱な推定ステップ(並進平均化)を再定式化することが、それをより強く最適化することよりも重要であり得ることを示している。

関連ノート