Online 3DGS Modeling

Lee 2025 · 論文

一行要約 — DROID-SLAM+マルチビューステレオのフロントエンドとGaussianバックエンドを組み合わせたオンライン単眼3DGSマッピングであり、不完全な領域を修復するために、まさに必要な追加フレームだけを訓練対象にする不確かさ駆動の非キーフレーム新規視点選択を導入する。

問題

密なSLAMに基づくオンライン3DGSパイプラインは「キーフレームのみに依存することに限定されており、シーン全体を捉えるには不十分で、不完全な再構成をもたらす」。キーフレームは平均オプティカルフローの閾値化によって選ばれる——これはトラッキングの基準である——ため、短時間だけ観測された領域や、キーフレームではない視点からしか観測されなかった領域は再構成不足のままになる。しかしオンラインの計算予算は、すべてのフレームでの訓練を許さない。限られた予算の中で、どの追加フレームを訓練に使う価値があるのか。もう一つの問題として、多くのシステムはスパースな、または単一画像から予測された深度を用いるが、これはスケールが曖昧であり屋外では機能しない。

手法とアーキテクチャ

MVS-GSフレームワークをベースに、独立したフロントエンドとバックエンドが並列に動作する。

• フロントエンド(トラッキング+深度): DROID-SLAMは、ノードがキーフレーム$I_k$、エッジが共視性リンクであるフレームグラフ$G$上で姿勢を追跡する。その密なオプティカルフローから粗い視差マップが得られ、これがMVSFormer(粗から細への多視点ステレオネットワーク)の第一層を初期化し、キーフレームごとに正確でメトリック整合的な深度マップ$\bar{D}_k$を出力する。大域バンドル調整(GBA)は(標準のDROID-SLAMのように末尾のみでなく)キーフレーム30個ごとにオンラインで実行され、視差/並進は数値安定性のために平均視差$\bar{d}$で正規化される。
• バックエンド(マッピング): キーフレームの深度は点へ逆投影され、MVSの幾何的/測光的整合性でフィルタされ、共分散$\Sigma_i$、平均$\mu_i$、不透明度$o_i$、色$c_i$、学習可能な形状$\beta_i$を持つ一般化指数スプラッティング(GES)プリミティブに変換される。新しいGaussianは、レンダリング画像と実画像のPSNRが閾値を下回る未探索領域にのみ生成される。レンダリングは前から後ろへのアルファブレンディングを用いる。

$$\hat{c}(p)=\sum_{i\in N} c_i\,\alpha_i \prod_{j=1}^{i-1}(1-\alpha_j), \qquad \alpha_i = o_i\, g_i(x)$$

深度$\hat{D}(p)$も、Gaussianごとの深度$z_i$を用いて同様にレンダリングされる。

• GBA後のマップ変形: GBAが姿勢を$T_k \to T_k'$に更新すると、マップは$T_k^{rel}=T_k' T_k^{-1}$によって剛体的に変形される: 平均は$\mu_i' = T_k^{rel}\mu_i$、共分散は$\Sigma_i' = R_k^{rel}\,\Sigma_i\,(R_k^{rel})^{\top}$——MVS深度は十分に正確なため、Splat-SLAMのような非剛体変形は不要である。
• 新規視点選択(NVS): Gaussianごとの不確かさは形状と最適化状態を組み合わせる。最大共分散固有値$\lambda_{n,i}=\max(s_{n,i}^{2})$(スケール$s_{n,i}$から)は肥大化したGaussianによる過再構成を示し、位置勾度の大きさ$A_{n,i}=\lVert d\mu_{n,i}\rVert$はまだ収束中の領域を示す。

$$U_{n,i}=\alpha_1 \lambda_{n,i}+\alpha_2 A_{n,i}, \qquad \alpha_1=0.7,\ \alpha_2=0.3$$

非キーフレーム$I_n$の情報利得は、可視Gaussianの不確かさを逆二乗深度重み付けで合計する: $U_n=\sum_i U_{n,i}/z_{n,i}^{2}$。候補(直近30キーフレームの範囲内にある非キーフレームに加え、持ち越された高利得フレーム20個)は$U_n$でソートされ、非最大抑制によって近い視点の重複を除去し、上位k個が直近30キーフレームと共に訓練セットに加わる。FisherRFやGS-Plannerと異なり、コストの高いレンダリング画像比較を必要としない。

• 訓練損失: キーフレームでは$L_{\mathrm{KF}}=\lambda_{L1}L_1+\lambda_{\mathrm{SSIM}}L_{\mathrm{SSIM}}+\lambda_{\mathrm{depth}}L_{\mathrm{depth}}+\lambda_{\mathrm{smooth}}L_{\mathrm{smooth}}$(重み0.95/0.2/0.2/0.1)を用い、$L_{\mathrm{depth}}$はMVS深度に対して計算される; 非キーフレームには深度がないため、$L_{\mathrm{NKF}}=\lambda_{L1}L_1+\lambda_{\mathrm{SSIM}}L_{\mathrm{SSIM}}+\lambda_{\mathrm{smooth}}L_{\mathrm{smooth}}$となる。

実験結果

すべての実験はRTX 4090上で実施(Replicaで平均約9.18FPS、GPUメモリ約17.2GiB)。

• Replica(8シーン、キーフレーム評価): 平均PSNR 39.28/SSIM 0.98/LPIPS 0.03、対してSplat-SLAM 36.45/0.97/0.06、MVS-GS 35.58/0.96/0.08、Photo-SLAM 33.29、MonoGS 25.88。
• TUM-RGBD: 平均PSNR 27.72/SSIM 0.90/LPIPS 0.10、Splat-SLAM(27.06/0.86/0.15)をわずかに上回る; MonoGS 18.82。
• ScanNet: 平均PSNR 29.79、対してSplat-SLAM 29.48、GLORIE-SLAM 22.45。
• 屋外(Aerial、Tanks&Temples): 深度予測に基づく手法のSplat-SLAMとGLORIE-SLAMは3DGSモデルの生成に失敗; Tanks&Templesでは、Photo-SLAMやMonoGSさえ失敗したが、提案手法はほぼ写実的な結果をレンダリングした。
• アブレーション(Replica Office0): ベースラインのMVS-GS 40.92 PSNR → +オンラインGBA 42.37 → +視差初期化 42.71 → +平滑化損失 42.73(深度L1 0.044→0.038) → +NVS 43.93 PSNR、深度L1 0.034、かつGaussian数はより少ない(1078K対1377K、マップサイズ約60MB削減)。

SLAMにおける意義

3DGSベースのSLAMフレームワークに非キーフレーム選択を導入した最初の研究であり、受動的なカメラストリームであっても再構成の完全性を能動的選択問題として扱い、next-best-viewの発想をオンラインマッピングに持ち込んだ。また、単眼深度予測ではなくマルチビューステレオ深度こそが、レンダリングベースのSLAMを屋外シーン(キーフレームのみのパイプラインが最も劣化する設定)で機能させる鍵であるという主張を補強する。

関連ノート

• DROID-SLAM
• MonoGS
• Photo-SLAM
• SplaTAM
• ActiveSplat