iMAP

Sucar 2021 · 論文

一行要約 — 最初のNeRF方式のSLAMシステム: 単一のMLPが、事前データなしでライブに学習され、リアルタイムRGB-Dトラッキングとマッピングの唯一のシーン表現として機能する。

問題

密なRGB-D SLAMは常に明示的なマップ構造 — TSDFボクセルグリッド(KinectFusion)やサーフェル(ElasticFusion) — に依存してきたが、これらは注意深いメモリ管理を必要とし、解像度を事前に固定し、カメラが一度も見ていない場所には穴を残す。NeRFは、MLPがシーンを連続的かつコンパクトに表現できることを示していたが、それはあくまで姿勢付き画像に対する数時間のオフライン学習によるものだった。iMAPは、MLPがライブSLAMシステムの「マップそのもの」になれるかを問う: ハンドヘルドRGB-Dカメラからのストリームに対して「事前データなしにライブ動作で学習」され、同時にトラッキングにも使用される、という具合である。

手法とアーキテクチャ

マップネットワーク。 幅256の隠れ層4層を持つ単一のMLPが、3D点を色と体積密度に写像する $F_{\theta}(\mathbf{p})=(\mathbf{c},\rho)$ — 視線方向は使わない(鏡面反射はモデル化されない)。入力は最適化可能なガウス位置埋め込み $\sin(\mathbf{B}\mathbf{p})$ ($\mathbf{B}$ は $n\times 3$ 行列、$\sigma=25$、埋め込みサイズ93)を通過し、これは2層目にも連結される。

微分可能レンダリング。 ポーズ $T_{WC}$ のピクセル $[u,v]$ に対して、逆投影されたレイに沿って$N$個のサンプル $\mathbf{p}_i=d_i\mathbf{r}$ が取られる(粗いビン32個+細かいビン12個)。密度は占有率 $o_{i}=1-\exp(-\rho_{i}\delta_{i})$ ($\delta_i=d_{i+1}-d_i$)となり、レイ終端重みは $w_{i}=o_{i}\prod_{j=1}^{i-1}(1-o_{j})$ となり、深度・色・深度分散は次のようにレンダリングされる:

$$\hat{D}[u,v]=\sum_{i=1}^{N}w_{i}d_{i},\quad\hat{I}[u,v]=\sum_{i=1}^{N}w_{i}\mathbf{c}_{i},\quad\hat{D}_{var}[u,v]=\sum_{i=1}^{N}w_{i}(\hat{D}[u,v]-d_{i})^{2}$$

同時最適化(マッピング)。 ネットワーク重み $\theta$ とキーフレーム姿勢 $\{T_i\}$ は、疎なピクセルサンプル $s_i$ に対してADAMで同時に最適化され、$L_{g}+\lambda_{p}L_{p}$ ($\lambda_p=5$)を最小化する。ここで光度損失はL1誤差であり、幾何損失は物体境界のような不確かな領域の重みを下げるために分散で正規化される:

$$L_{g}=\frac{1}{M}\sum_{i=1}^{W}\sum_{(u,v)\in s_{i}}\frac{\left|D_{i}[u,v]-\hat{D}_{i}[u,v]\right|}{\sqrt{\hat{D}_{var}[u,v]}}$$

並行トラッキング。 PTAMの分割方式に従い、別プロセスが「ロックされた」ネットワークに対して同じ損失でライブカメラの姿勢のみを約10 Hzで最適化する一方、同時マッピングは約2 Hzで動作する。両者は1台のデスクトップGPU上の単純なPyTorchマルチプロセッシングで実現される。

忘却対策のキーフレーム選択。 正規化された深度誤差が $t_D=0.1$ 未満であるピクセルの割合 $P$ が(ロックされたマップスナップショットに対して)$t_P=0.65$ を下回ったとき — つまり著しく新しい領域を見ているとき — フレームはキーフレームになる。キーフレーム集合はリプレイメモリバンクとして機能し、単一のMLPがシーンの以前の部分を破滅的に忘れてしまわないようにする。

能動的サンプリング。 1回のイテレーションで画像あたり200ピクセルのみがレンダリングされる。各画像は $8\times 8$ グリッドに分割され、セルごとの平均損失が分布 $f_{i}[j]=L_{i}[j]/\sum_{m}L_{i}[m]$ に正規化され、新しいサンプルはそれに比例して割り当てられる。これによって計算がマップの不確かな箇所に集中する。同じ損失比例スキームがキーフレーム間のサンプル割り当てにも使われ、各マッピングイテレーションは $W=5$ フレーム(損失サンプリングされたキーフレーム3枚+直近のキーフレーム+ライブフレーム)からなる限定ウィンドウを最適化する。

実験結果

• Replica(8つのルームスケールシーン、2000フレームの軌跡): 平均精度4.43 cm、完全性5.56 cm、完全性比率(<5 cm)79.06%を、平均わずか約13枚のキーフレームで達成 — (iMAPの姿勢を与えられた)TSDF融合の3.45 cm / 6.63 cmと比較される。iMAPは未観測領域のもっともらしい補完のおかげで、平均完全性比率が約4%高い(office-3では+11%)。
• メモリ: 部屋全体が約1 MBのパラメータを持つMLPでマッピングされる — 解像度128/256/512のTSDFグリッドの8.38 / 67.10 / 536.87 MBと比較される。
• TUM RGB-D(ATE RMSE): fr1-desk / fr2-xyz / fr3-officeでそれぞれ4.9 / 2.0 / 5.8 cm — BAD-SLAM(1.7/1.1/1.73)やORB-SLAM2(1.6/0.4/1.0)には勝てないが、2~6 cmで競合的であり、それらと異なり未観測領域の穴を埋める。
• タイミング: トラッキング6イテレーションで101 ms、マッピング10イテレーションで448 ms(同一GPU上で並行)— トラッキング10 Hz、マップ更新2 Hz。能動的サンプリングはランダムサンプリングよりも速く収束し、より多くの領域を補完する。
• ハンドヘルドのAzure Kinectでのライブ記録でも実演され、黒色・鏡面・透明な表面など深度センサーが失敗する場所でも — 光度損失とネットワークの補間によって復元される。

SLAMにおける意義

iMAPは、ニューラル暗黙表現SLAM研究の全系譜の出発点となった。ここで確立された、微分可能マップに対するトラッキング/マッピングの分離 — 固定されたマップに対する姿勢最適化、リプレイされるキーフレームに対するマップ最適化 — は、今日のNeRFベース・3DGSベースSLAMでも使われるテンプレートである。また「マップ」とは何かを再定義した: 点を挿入するデータ構造ではなく、連続性・コンパクト性・穴埋めが無償で得られる、フィッティングする関数なのだ、と。単一MLPの容量の限界(忘却、大きなシーンでの過平滑化)は、NICE-SLAMの階層グリッド、Co-SLAMのハッシュグリッド、そして最終的にはコミュニティが明示的な3Dガウシアンマップへ移行する動機に直結した。

関連ノート

• NICE-SLAM
• Co-SLAM
• NeRF
• NeRF-SLAM
• SplaTAM
• KinectFusion
• PTAM