RoMa

Edstedt 2024 · 論文

一行要約 — 凍結されたDINOv2基盤モデルの特徴(ロバストだが粗い)と、専用のVGG19ファイン特徴(精密だが脆弱)を融合し、アンカー確率を予測するTransformerマッチデコーダで密な特徴マッチングを行う手法。regression-by-classificationに続いてロバスト回帰で学習される。

問題

密な特徴マッチング — 2つの画像間のすべてのピクセルについて密なワープ WA→BW^{\mathcal{A}\to\mathcal{B}} とマッチング可能性スコア p(xA)p(x^{\mathcal{A}}) を推定すること — は、スケール、照明、視点、テクスチャにおける極端な実世界の変化を乗り越えなければならない。マッチングデータからスクラッチで学習された特徴(DKMのResNet50)は空間的に精密だが学習セットに過学習する。凍結されたDINOv2特徴は劇的にロバストである(本論文はResNet50の60.2px/57.5%、VGG19の87.6px/43.2%に対して、凍結特徴の粗いマッチングプローブで27.1px EPE/85.6%のロバスト性を測定している)が、粗いストライド14でのみ存在する。RoMaは両方を得る方法、そして各段階を自身の誤差レジームに合致した損失で学習する方法を問う。

手法とアーキテクチャ

2段階の密なパイプライン(DKM骨格)。 分離されたエンコーダが粗い特徴とファイン特徴を抽出する。グローバルマッチャー Gθ=Dθ(Eθ(φcoarseA,φcoarseB))G_\theta = D_\theta(E_\theta(\varphi^{\mathcal A}_{\text{coarse}}, \varphi^{\mathcal B}_{\text{coarse}})) が粗いワープと確信度を生成し、その後ストライド {1,2,4,8}\{1,2,4,8\} のリファイナー Rθ,iR_{\theta,i} が、積み重ねられた特徴マップと前の推定値周辺のローカル相関ボリュームを用いて残差ワープと確信度ロジットオフセットを再帰的に予測する。段階間で勾定は切り離される。

ロバストかつ局所化可能な特徴。 Fcoarse,θ=DINOv2F_{\text{coarse},\theta}=\text{DINOv2}(学習全体を通して凍結 — 表現を固定することで過学習が減り計算量が削減される)、一方 Ffine,θ=VGG19F_{\text{fine},\theta}=\text{VGG19}: アブレーションはVGG19が粗い特徴としては貧弱だが最良のファイン特徴を作ることを示しており、「ファインな局所化可能性と粗いロバスト性の間の内在的な緊張関係」を明らかにしている。

アンカー確率を持つTransformerマッチデコーダ。 座標を直接回帰する代わりに、デコーダ(5個のViTブロック、8ヘッド、隠れサイズ1024、位置エンコーディングなし — 解像度への過学習と過度な平滑化を避けるため特徴類似度のみで伝播する)は、K=64×64K = 64\times 64 個の均一アンカーに対する離散化された条件付き分布を出力する:

pcoarse,θ(xB∣xA)=∑k=1Kπk(xA) Bmk,p_{\text{coarse},\theta}(x^{\mathcal{B}}|x^{\mathcal{A}})=\sum_{k=1}^{K}\pi_k(x^{\mathcal{A}})\,\mathcal{B}_{m_k},

πk\pi_k はアンカー確率、mkm_k はアンカー座標である — したがって(繰り返し構造や運動境界による)多峰性の曖昧さは平均化されるのではなく表現される。ワープはアンカーに対するargmaxによって復号され、続いて4近傍 N4(k∗)N_4(k^*) に対するローカルsoftargmaxが行われる。

各段階に合致した損失。 スケール ss でのマッチング可能性を、ぼかされた結合分布 q(xA,xB;s)=N(0,s2I)∗p(xA,xB;0)q(x^{\mathcal{A}},x^{\mathcal{B}};s)=\mathcal{N}(0,s^2\mathbf{I}) \ast p(x^{\mathcal{A}},x^{\mathcal{B}};0) としてモデル化すると、粗い条件付き分布は運動境界付近で多峰的であるのに対し、(前のワープに条件付けられた)精緻化は局所的に単峰的であることが分かる。したがって Lcoarse\mathcal{L}_{\text{coarse}} はregression-by-classificationである — 正解に最も近いアンカー k†(x)=argmin⁡k∥mk−x∥k^{\dagger}(x)=\operatorname{argmin}_k \lVert m_k - x\rVert のNLL — であり、Lfine\mathcal{L}_{\text{fine}} はロバストな一般化Charbonnier回帰(α=0.5\alpha=0.5)であり、その対数密度は −(∥μθ−xiB∥2+s)1/4-(\lVert\mu_\theta - x_i^{\mathcal{B}}\rVert^2 + s)^{1/4} である: 局所的にはL2的な勾定を持ちながら外れ値に対してはゼロへ減衰する。全体損失 L=Lcoarse+Lfine\mathcal{L}=\mathcal{L}_{\text{coarse}}+\mathcal{L}_{\text{fine}} は段階間の重み付けを必要としない。560×560でMegaDepth(+屋内評価用ScanNetモデル)で学習。

実験結果

SLAMにおける意義

RoMaは、凍結された基盤モデルの特徴がマッチングのロバスト性を劇的に向上させることを示し — 「粗いアンカーのための基盤特徴+精度のための専用特徴」というパラダイムを確立した。SLAMにおいてこれが最も重要となるのは、疎な手作りあるいは学習ベースの特徴点でも失敗するような、深刻な外観変化(昼夜、季節)下でのリローカリゼーションとループ閉じ込みである。密なRoMaスタイルのマッチャーは、現在いくつもの現代的な再構成・ローカリゼーションパイプラインを支えている。

関連ノート