Point-SLAM

Sandström 2023 · 論文

一行要約 — 固定グリッドではなく動的に成長する点群にニューラル特徴を固定し、表現密度をシーンの詳細に適応させることで、効率的な密なニューラルSLAMを実現する。

問題

グリッドベースのニューラルSLAM(NICE-SLAM、Vox-Fusion)は、事前に固定され空間的に均一な解像度のスパースグリッドにシーン特徴を固定する: メモリは空の領域やテクスチャのない領域に浪費される一方、詳細な領域は解像度不足になりうるし、シーンの境界を事前に指定する必要がある。Point-SLAMは代わりに、ニューラルシーン表現の特徴を「入力依存かつデータドリブンな方法で反復的に生成される点群」(アブストラクト)に固定するため、表現能力は入力の情報密度に従う — 論文が問う核心の問いは: 点ベースのニューラルシーン表現は、リアルタイムに動作可能なSLAMにおいてトラッキングとマッピングの両方に使えるのか、である。

手法とアーキテクチャ

ニューラル点群: P={(pi,fig,fic)∣i=1,…,N}P=\{(p_i, f^{g}_i, f^{c}_i)\mid i=1,\dots,N\} — 各点は R32\mathbb{R}^{32} の幾何特徴記述子と色特徴記述子を持つ。各マッピングフェーズでは、一様サンプリングされた XX 個のピクセルと、上位 5Y5Y 個の色勾配ピクセルからサンプリングされた YY 個のピクセルが、センサ深度を用いて逆投影される。探索半径 rr 以内に既存の点がない場合、深度 (1−ρ)D(1-\rho)D、DD、(1+ρ)D(1+\rho)D(深度ノイズを考慮した更新帯)に沿って3点がレイ上に追加される。点群は探索とともに成長するが、有界な集合に収束する — シーンの境界は不要である。

動的解像度: 探索半径は、色勾配の大きさ ∇I(u,v)\nabla I(u,v) のクランプされた線形写像を介して、画像テクスチャが高い場所で縮小する:

r(u,v)={rlif ∇I(u,v)≥guβ1∇I(u,v)+β2if gl≤∇I(u,v)≤guruif ∇I(u,v)≤glr(u,v)=\begin{cases}r_l & \text{if }\nabla I(u,v)\geq g_u\\ \beta_1\nabla I(u,v)+\beta_2 & \text{if } g_l\leq\nabla I(u,v)\leq g_u\\ r_u & \text{if }\nabla I(u,v)\leq g_l\end{cases}

これにより、細かい詳細には密な点が割り当てられ、平坦な領域は圧縮される(実際には gl=0.01g_l=0.01、gu=0.15g_u=0.15)。

レンダリング: 点は表面付近にのみ存在するため、(1−ρ)D(1-\rho)D から (1+ρ)D(1+\rho)D の間でレイあたりわずか5サンプルで十分である — 自由空間を彫り込む必要があるNICE-SLAMの48サンプルに対して。占有度と色は oi=h(xi,Pg(xi))\mathrm{o}_i=h(x_i,P^{g}(x_i)) および ci=gξ(xi,Pc(xi))\mathbf{c}_i=g_\xi(x_i,P^{c}(x_i)) としてデコードされる(NICE-SLAMのアーキテクチャを用いる; 幾何デコーダは事前学習済みで固定されている)。特徴は 2r2r 以内の最も近い8つの近傍から逆二乗距離重み付けによって集約される:

Pg(xi)=∑kwk∑kwkfkgwithwk=1∥pk−xi∥2,P^{g}(x_i)=\sum_k \frac{w_k}{\sum_k w_k} f^{g}_k \quad\text{with}\quad w_k=\frac{1}{\|p_k-x_i\|^{2}},

色特徴は先に小さな相対位置MLP FθF_\theta を通過する。レイ終端重み αi=opi∏j=1i−1(1−opj)\alpha_i=\mathrm{o}_{\mathbf{p}_i}\prod_{j=1}^{i-1}(1-\mathrm{o}_{\mathbf{p}_j}) は、レンダリングされた深度 D^=∑iαizi\hat{D}=\sum_i\alpha_i z_i、色 I^=∑iαici\hat{I}=\sum_i\alpha_i\mathbf{c}_i、深度分散 S^D\hat{S}_D を与える。

マッピングとトラッキングはこの一つの表現を共有する。マッピングは、特徴とカラーデコーダの重みに対して Lmap=∑m∣Dm−D^m∣1+λm∣Im−I^m∣1\mathcal{L}_{map}=\sum_m |D_m-\hat{D}_m|_1+\lambda_m|I_m-\hat{I}_m|_1 を最小化する(最初の40%の反復では深度のみ)。キーフレームピクセルはNICE-SLAMと同様に正則化として働き、マッピング反復回数は新たに追加された点の数に応じて適応的にスケーリングされる。トラッキングは等速初期化から、分散正規化された損失によって {R,t}\{\mathbf{R},\mathbf{t}\} を最適化する:

Ltrack=∑m=1Mt∣Dm−D^m∣1S^D+λt∣Im−I^m∣1.\mathcal{L}_{track}=\sum_{m=1}^{M_t}\frac{|D_m-\hat{D}_m|_1}{\sqrt{\hat{S}_D}}+\lambda_t |I_m-\hat{I}_m|_1.

画像ごとの潜在ベクトルが共有の露出MLPに入力され、露出が変化するシーンに対するアフィン色補正を出力する。

実験結果

SLAMにおける意義

Point-SLAMは、ニューラル暗黙SLAMに適応的な密度制御を導入した: 表現能力は空の空間に浪費されるのではなく、シーンが必要とする場所に向けられる — 自由空間の彫り込みが不要なため、レイサンプリングは数十サンプルから5サンプルへと減少する。これは古典的な点群マッピングとニューラル暗黙手法を橋渡しし、NeRF系SLAM世代の中で最高水準の再構成品質を達成した。明示的で適応的に密度化された特徴保持プリミティブという発想は、3D Gaussian Splatting SLAMを先取りするものであった。

関連ノート