DTAM

Newcombe 2011 · 論文

一行要約 — 単眼カメラ一台からリアルタイムで密な3D再構成とカメラトラッキングを行った最初のシステムであり、キーフレームにおけるフォトメトリックコストボリュームの累積、正則化された primal-dual 深度最適化、GPU上での密なモデルに対する全画像アラインメントによって実現された。

問題

DTAM以前のリアルタイム単眼システム——MonoSLAMとPTAM——は疎な点マップしか生成できなかった。これはカメラの位置推定には十分だが、遮蔽を考慮したAR、障害物回避、あるいは表面を必要とする他のタスクには使えない。密なマルチビュー再構成はオフラインでは存在していたが、入力されるすべてのフレームに対してライブで実行した例はなかった。DTAM(「Dense Tracking and Mapping in Real-Time」、Newcombe, Lovegrove, Davison、ICCV 2011)は、密な手法が再構成とトラッキングの両方に対して「画像内のすべてのデータを利用する」こと、そしてGPGPUの並列性によって、これが画素ごと・フレームごとに実現可能になったことを論じた。

手法とアーキテクチャ

密結合した2つの密なプロセス:密なモデルが与えられれば、全画像アラインメントによって各フレームをトラッキングする;トラッキングされた姿勢が与えられれば、密なキーフレーム深度マップを構築・精緻化する。(標準的な点特徴によるステレオ初期化器によって)ブートストラップされた後は「特徴ベースの骨組みやトラッキングは一切不要」である。

• コストボリューム: 各キーフレーム$r$は、逆深度サンプル$d \in [\xi_{\min}, \xi_{\max}]$にわたる平均フォトメトリック誤差$C_r(\mathbf{u}, d)$を保持し、これは重複する狭ベースラインのフレーム$m \in \mathcal{I}(r)$数十から数百から累積される:

$$C_r(\mathbf{u},d) = \frac{1}{|\mathcal{I}(r)|}\sum_{m\in\mathcal{I}(r)} \big\| I_r(\mathbf{u}) - I_m\big(\pi(K\, T_{mr}\, \pi^{-1}(\mathbf{u},d))\big) \big\|_1 .$$

個々の2視点コストには極小点が多いが、平均されたL1コストは少ない。遮蔽は外れ値になる。到着した各フレームで移動平均が更新されるため、画像を保存する必要がない。

• 正則化された深度: 逆深度マップ$\xi$は、画像エッジで重み付けされたHuber勾配正則化項$g(\mathbf{u}) = e^{-\alpha\|\nabla I_r(\mathbf{u})\|_2^{\beta}}$を持つ非凸エネルギーを最小化する:

$$E_\xi = \int_\Omega \big\{ g(\mathbf{u})\, \|\nabla \xi(\mathbf{u})\|_\epsilon + \lambda\, C(\mathbf{u}, \xi(\mathbf{u})) \big\}\, d\mathbf{u} .$$

• Primal-dual + 全探索: データ項と平滑化項は、結合項$\frac{1}{2\theta}(\xi - \alpha)^2$を持つ補助変数$\alpha$によって分離される。$\theta \to 0$のとき、元のエネルギーが復元される。凸部分はprimal-dual(Legendre–Fenchel)スキームで解かれ、非凸なデータ項はサンプリングされた深度全体にわたる画素ごとの全探索で解かれる——これにより、細部を失う粗密ワーピングを回避できる。縮小境界$r^{n+1}_{\mathbf{u}} = \sqrt{2\theta^n \lambda (C^{\max}_{\mathbf{u}} - C^{\min}_{\mathbf{u}})}$が探索を高速化し、フィッティングされた放物線上の1回のNewtonステップがサブサンプル精度の深度を与える(重要な点:わずか$S \le 64$の深度サンプルでも細部のある表面が得られる)。
• 密なトラッキング: モデルは仮想カメラに投影されて、深度$\xi_v$を持つビュー$I_v$を合成する。ライブ姿勢はすべての画素にわたるLucas–Kanade様式の順方向合成Gauss–Newton法によって、粗密的に求められ、モーションブラーに対する耐性のため最初に回転のみのアラインメントを行う:

$$F(\boldsymbol{\psi}) = \frac{1}{2}\sum_{\mathbf{u}\in\Omega} f_{\mathbf{u}}(\boldsymbol{\psi})^2, \qquad f_{\mathbf{u}}(\boldsymbol{\psi}) = I_l\big(\pi(K\, T_{lv}(\boldsymbol{\psi})\, \pi^{-1}(\mathbf{u}, \xi_v(\mathbf{u})))\big) - I_v(\mathbf{u}),$$

ここで$\boldsymbol{\psi} \in \mathbb{R}^6$は$\mathfrak{se}(3)$の要素である。フォトメトリック誤差が閾値(反復ごとに漸減)を超える画素は棄却されるため、手を振るなどのモデル化されていない物体はトラッキングを破壊しない。予測される表面情報を持つ画素が少なすぎる場合、新しいキーフレームが追加される。

実験結果

デスクトップ環境でライブに評価:Point Grey Flea2による30Hz、640×480 RGB、NVIDIA GTX 480 GPUとi7クアッドコアCPU上で動作。キーフレーム深度マップは、PTAMが同じフレームで使う約1000点の特徴点に対し、約30万点の推定点を持つ。評価はPTAMとの定性的な比較である。カップに近づく高加速度の往復軌道において、PTAMは繰り返しトラッキングを失って再位置決めに頼ったが、DTAM(その再位置決め機能は意図的に無効化)は視覚的により滑らかな速度推定を保ちながらロックし続けた;DTAMはカメラのデフォーカス中もトラッキングを維持し、正しい遮蔽処理を伴う物理拡張ARアプリケーションも実演した。軌道誤差のベンチマークは報告されていない——その遺産は、後に密で直接的なSLAMが継承したテンプレート(コストボリューム+正則化項+primal-dual+密なモデルベースのトラッキング)である。

SLAMにおける意義

PTAMが疎な点マップを生成していたのに対し、DTAMは単一のカメラがリアルタイムで密な表面を提供できることを示し、より豊かなシーン理解、遮蔽を考慮したAR、障害物回避への道を開いた。それは直接法・密なSLAM研究の系譜を確立した——LSD-SLAM、DSO、そして(同じ第一著者を通じて)KinectFusionに直接的な影響を与え、GPUコンピューティングを密なSLAMの中核的な手法として確立した。ElasticFusionから、NeRFベースおよび3DGSベースのSLAMに至る現代の密なシステムは、そのdense-tracking-and-mapping設計の後継である。

関連ノート

• PTAM
• LSD-SLAM
• DSO
• KinectFusion
• Frame-to-model tracking