NICER-SLAM

Zhu 2024 · 論文

一行要約 — カメラ姿勢と階層的SDFマップを同時最適化するRGBのみのニューラル陰関数SLAMシステムであり、欠けている深度センサーを単眼深度/法線事前分布、オプティカルフロー、ワーピング損失で置き換える——RGB-Dシステムと競合する再構成品質を達成。

問題

ニューラル陰関数SLAMシステムは「RGB-Dセンサーに依存するか、カメラトラッキングのために別個の単眼SLAM手法を必要とし、かつ高精細な密な3Dシーン再構成を生成できない」(概要より)。RGBのみのSLAMは、論文が指摘する3つの理由でより難しい。深度の曖昧さ(特にテクスチャがない場合、色に一致する対応が多数存在する)、局所化されにくい表面推定、そして制約が少なく収束が遅い最適化である。論文が提起する問いは、単眼RGB動画からのトラッキングとマッピングの両方に単一のニューラル陰関数表現を用いる統合的な密なSLAMシステムは可能か、である。

手法とアーキテクチャ

階層的SDF+色表現。 粗い密なボクセルグリッド($32^3$、32次元特徴)と小さなMLP$f^{\text{coarse}}$が基底SDFを与える。多解像度の細グリッド($L=8$レベル、解像度$R_l = \lfloor R_{\min} b^{l} \rfloor$は$R_{\min}=32$から$R_{\max}=128$まで幾何的に配置)と$f^{\text{fine}}$が残差を予測し、最終的なSDFは次式となる。

$$\hat{s} = s^{\text{coarse}} + \Delta s.$$

色は独自の多解像度グリッド($L=16$、最大$R_{\max}=2048$)とデコーダー$\hat{\mathbf{c}} = f^{\text{color}}\bigl(\mathbf{x}, \hat{\mathbf{n}}, \gamma(\mathbf{v}), \mathbf{z}^{\text{coarse}}, \mathbf{z}^{\text{fine}}, \{\Phi^{\text{color}}_l(\mathbf{x})\}\bigr)$を用い、SDFから導かれる法線$\hat{\mathbf{n}}$と視線方向$\mathbf{v}$を条件とする。

局所適応SDF-密度変換によるボリュームレンダリング。 SDFサンプルはVolSDF変換$\sigma_\beta(s)$($s\le 0$では指数減衰、$s>0$では$\frac{1}{\beta}\bigl(1-\frac{1}{2}\exp(-\frac{s}{\beta})\bigr)$)によって密度に変換され、色/深度/法線はアルファ合成される: $\hat{C} = \sum_{i=1}^{N} T_i \alpha_i \hat{\mathbf{c}}_i$、$\alpha_i = 1-\exp(-\sigma_i\delta_i)$、$T_i = \prod_{j=1}^{i-1}(1-\alpha_j)$。VolSDFの単一の大域的$\beta$の代わりに、ボクセルごと($64^3$)のサンプル数カウンター$T_p$がシャープネスを局所的に設定する。

$$\beta = c_0 \cdot \exp(-c_1 \cdot T_p) + c_2,$$

こうして、よく観測された領域は鮮明な表面をレンダリングし、ほとんど観測されていない領域は柔らかいままとなる。

深度センサーを置き換える損失。 マッピングは次式を最小化する。

$$\mathcal{L} = \mathcal{L}_{\text{rgb}} + 0.5\,\mathcal{L}_{\text{warp}} + 0.001\,\mathcal{L}_{\text{flow}} + 0.1\,\mathcal{L}_{\text{depth}} + 0.05\,\mathcal{L}_{\text{normal}} + 0.1\,\mathcal{L}_{\text{eikonal}},$$

ここで$\mathcal{L}_{\text{warp}}$は各ピクセルの色を、レンダリングされた深度を介して近傍キーフレームへ再投影した色と比較する; $\mathcal{L}_{\text{flow}}$は誘導された対応をGMFlowのオプティカルフローに一致させる; 単眼深度損失はスケール/シフト不変であり、$\mathcal{L}_{\text{depth}} = \sum_{\mathbf{r}} \lVert (w\hat{D}(\mathbf{r})+q) - \bar{D}(\mathbf{r})\rVert^2$で、$w,q$は画像ごとに閉形式で解かれる; $\mathcal{L}_{\text{normal}}$は予測された単眼法線に対しL1+角度整合性を課す; そしてEikonal項$\sum_{\mathbf{x}}(\lVert\nabla\hat{s}(\mathbf{x})\rVert_2 - 1)^2$がSDFを正則化する。

システム。 マッピングは5フレームごとに3段階(粗のみ; 反復の25%後に+細グリッド; 75%後に、選択された$K=16$フレームの半数の姿勢も同時最適化する局所BA)で動作し、$M=8096$本のレイをサンプリングする。トラッキングは各フレームで並行して動作し、$M_t=1024$ピクセルに対するRGB損失で現在の姿勢のみを100反復最適化する。反復あたりのコスト: A100上でマッピング496ms、トラッキング147ms。メッシュは$512^3$のマーチングキューブから生成される。

実験結果

• Replica再構成: 平均精度3.65cm、完全性4.16cm、完全性比率79.37%、法線整合性90.27%——RGBベースラインのDROID-SLAM(5.50/12.29cm、63.62%)やCOLMAP(8.69/12.12cm、67.62%)を大きく上回り、RGB-DのNICE-SLAM(3.87/3.87cm、82.41%)に匹敵する。
• Replicaトラッキング(ATE RMSE): 平均1.88cm——深度入力なしでRGB-DのNICE-SLAM(1.95cm)に匹敵するが、DROID-SLAM(0.33cm; 最終的な大域BA/ループ閉じ込みなしで0.70cm)には依然大きく劣る。
• 新規視点合成(Replica): 外挿ビューでPSNR 23.93dB/SSIM 0.857/LPIPS 0.201で、RGB-DシステムのNICE-SLAM(23.26dB)やVox-Fusion(21.98dB)さえ上回る; 内挿では25.41dB。
• 7-Scenes(低解像度、モーションブラーのある実データ): トラッキング平均8.55cm(DROID-SLAM 5.66cmに対し)だが、COLMAP(11.14)や大域BAなしのDROID-SLAM(10.87)よりロバストで、再構成も明らかにシャープ; 単眼事前分布のおかげで、これらのベースラインが失敗するテクスチャレス・反射性のあるパンプキンシーンでも動作を維持する。
• アブレーション: 単眼深度または法線損失を除くと、マッピングとトラッキングの両方が大きく劣化する——最適化を明確化するのはRGB損失ではなく事前分布であることが分かる。

SLAMにおける意義

NICER-SLAMは、統合ニューラル陰関数SLAMが深度センサーに根本的に依存するわけではないことを示した。単眼深度/法線ネットワークからの事前分布と、フロー・ワーピングの整合性が直接的な深度教師の代替となり得る——ただし専用オドメトリと比べてトラッキング精度は犠牲になる。これにより密なニューラルSLAMが普通の単眼カメラにも広げられ、そのレシピ——単眼幾何ヒント、フロー整合性、局所適応SDFレンダリング——は、MonoGSのような後続のRGBのみのニューラル・Gaussian SLAMシステムに繰り返し現れる。

関連ノート

• NICE-SLAM
• NeRF-SLAM
• MonoGS
• DPT
• MiDaS
• RAFT