PTAM

Klein & Murray 2007 · 論文

一行要約 — SLAMを並列なトラッキングとマッピングのスレッドに分割するパラダイムを導入し、リアルタイムなキーフレームベースのバンドル調整を初めて可能にした。

問題

MonoSLAMのEKFアプローチは小規模マップを超えて拡張できなかった: 毎フレーム、すべてのランドマークに対する密な共分散を更新する必要があるため、コストはマップサイズとともに急速に増大し、繰り返される線形化によって精度が損なわれる。バンドル調整(BA)はフィルタリングよりはるかに精度の高い結果を生み出すが、2007年当時はリアルタイム動作には遅すぎると考えられていた。Klein & Murray(ISMAR 2007、オックスフォード大学)は、ハンドヘルドカメラのトラッキングとマップの構築は分離可能な問題であると論じた: これらを2つのスレッドに分離すれば、トラッキングがフレームレートで動作している間にBAをバックグラウンドで実行できる。

手法とアーキテクチャ

トラッキングスレッド(毎フレーム)。 4レベルの画像ピラミッドが構築され、各レベルでFASTコーナーが検出される。カメラ姿勢は $4\times 4$ 行列 $E_{CW}$ として $\mathrm{SE}(3)$ 上に存在し、六次元ベクトル $\mu$ による指数写像を介した左乗算で更新される:

E_{CW}' = M\,E_{CW} = \exp(\mu)\,E_{CW}.

マップ点は、キャリブレーションされたFOV歪みカメラモデルを通じて投影される。可視な各点の $8\times 8$ 元パッチは、行列 $A$ (ソースキーフレームの単位画素変位をパッチ平面へ逆投影して求める)によってアフィンワープされ、 $\det(A)/4^l$ が1に最も近くなるピラミッドレベル $l$ が探索対象として選ばれる。マッチングは、円形ゲート内のFASTコーナー位置における零平均SSDであり、記述子は一切使用しない。見つかったパッチ $(\hat{u}_j\ \hat{v}_j)^\top$ の集合 $S$ とノイズ $\sigma_j^2 = 2^{2l}$ が与えられたとき、姿勢更新は再重み付き最小二乗を10回反復することでロバストな再投影目的関数を最小化する:

\mu' = \underset{\mu}{\operatorname{argmin}} \sum_{j \in S} \mathrm{Obj}\left( \frac{|\mathbf{e}_j|}{\sigma_j},\ \sigma_T \right), \qquad \mathbf{e}_j = \begin{pmatrix} \hat{u}_j \\ \hat{v}_j \end{pmatrix} - \mathrm{CamProj}\big(\exp(\mu)\,E_{CW}\,\mathbf{p}_j\big),

ここで $\mathrm{Obj}(\cdot, \sigma_T)$ は、中央値ベースのスケール推定 $\sigma_T$ を伴うTukeyのバイウェイト関数である。トラッキングは2段階の粗から密への処理である: まず大きな探索半径で50個の粗いレベルの点、続いて狭い探索半径で最大1000個の点を処理する。減衰する速度モデルが事前姿勢を予測し、トラッキング品質は監視され、品質の悪いフレームがマップに反映されないようにする(完全な失敗に対してはリローカライザを用いる)。

マッピングスレッド(非同期)。 マップは、ユーザー操作による2視点ステレオによって立ち上げられる: キー押下による2つの視点間で1000パッチを追跡し、五点法+RANSACによって基礎行列を求め、三角測量を行い、10 cmのベースラインを仮定してスケールを固定し、RANSACで見つけた優勢な平面を $z=0$ に整列させる。キーフレームは、トラッキングが良好であり、少なくとも20フレームが経過しており、カメラが既存のキーフレームから(深度スケールされた)最小距離を超えている場合にのみ追加される。新しい点は、最も近いキーフレームに対するエピポーラ探索から得られる。このスレッドは、その後キーフレーム姿勢と点に対してBAを実行する:

\{\mu_2 .. \mu_N\}, \{\mathbf{p}'_1 .. \mathbf{p}'_M\} = \underset{\{\mu\},\{\mathbf{p}\}}{\operatorname{argmin}} \sum_{i=1}^{N} \sum_{j \in S_i} \mathrm{Obj}\left( \frac{|\mathbf{e}_{ji}|}{\sigma_{ji}},\ \sigma_T \right)

— Levenberg–Marquardtに標準的なスパースStructure from Motionの手法を組み合わせ、キーフレーム数に対して $O(N^3)$ でスケールする。フルBAは探索中に処理を停滞させてしまうため、ローカルBAは $X$ = 最新のキーフレームとその最も近い4つの近傍のみを、 $Z$ = それらが見るすべての点にわたって調整し、これらの点を観測するすべてのキーフレーム $Y$ によって制約される(おおよそ $O(NM)$ )。アイドル時には、このスレッドはデータアソシエーションを改善する: 古いキーフレームで新しい特徴を計測し、Tukeyフラグの立った外れ値計測を削除前に「もう一度チャンス」を与える。

実験結果

すべてデスクトップIntel Core 2 Duo 2.66 GHz上(ライブのハンドヘルド動作):

4000点のマップに対するトラッキングコスト: 合計19.2 ms/フレーム — キーフレーム準備2.2 ms、特徴投影3.5 ms、パッチ探索9.8 ms、反復姿勢更新3.7 ms — すなわち余裕を持ったリアルタイム; リローカリゼーションは約90 msまで跳ね上がる。
Deskシーケンス(1656フレーム): 最終マップは57キーフレームと4997点で、全体を通じて約20 ms/フレームで追跡された。
BAのタイミング: 2〜49 / 50〜99 / 100〜149キーフレームのマップに対して、ローカルBAは170 ms / 270 ms / 440 ms、グローバルBAは380 ms / 1.7 s / 6.9 s; 150キーフレームを超えると、グローバルの収束には数十秒を要する。構築された最大のマップ: 11000点、280キーフレーム(実用上の限界は約6000点/150キーフレーム)。
EKF-SLAMとの比較(SceneLib、JCBB使用、合成の18.2 m軌跡): 真値からの標準偏差はPTAMで6 mm、EKF-SLAMで135 mmであり、PTAMは6600点をマッピングしたのに対しEKF-SLAMは114点であった; PTAMは一定の約20 msで追跡するのに対し、EKFは3 msから40 msへと二次的に増大する。
テーブル上でのARゲームがマップ上でライブに実行されるデモを行った。設計上ループ閉じ込みや大規模なリローカリゼーションは含まれていない。

SLAMにおける意義

PTAMは、今日でも事実上すべての現代的SLAMシステムが従うフロントエンド/バックエンド分離を確立し、キーフレームバンドル調整がフィルタリングを上回ることを実証的に示した — この主張は後にStrasdatらの「Visual SLAM: Why Filter?」によって形式化された。キーフレーム、近傍に対するローカルBA、バックグラウンドでのグローバルな精緻化、トラッキング品質のゲーティング: ORB-SLAMは本質的に、自動初期化、ループ閉じ込み、大規模マップ管理を加えて完成させた、このアーキテクチャそのものである。

PTAM

問題

手法とアーキテクチャ

実験結果

SLAMにおける意義

関連ノート