DeDoDe

Edstedt 2024 · 論文

一行要約 — DeDoDe(「Detect, Don’t Describe — Describe, Don’t Detect」)は、キーポイント検出と記述を分離する手法である。検出器は大規模SfMトラックから直接3D整合性を目標として学習され、記述子は相互最近傍マッチング可能性を目標として別個に学習される。

問題

学習型キーポイント検出における中核的な難しさは、学習目標そのものにある。あるピクセルを「良い」キーポイントにするものは何か。従来の学習型手法(SuperPoint、DISK、SiLK)は、記述子とキーポイントを同時学習し、検出を記述子の相互最近傍に対する二値分類として扱う――これは「3D整合性のあるキーポイントを生成する保証がない」代理タスクであり、キーポイントを特定の記述子に結びつけてしまい、下流での利用を複雑にする。DeDoDeは代わりにキーポイントを3D整合性から直接学習し、その副産物として互換性(任意のマッチャーで使えるキーポイント)とモジュール性を得る。

手法とアーキテクチャ

検出器の目的関数。 ネットワーク $f_\theta(x|I)$ は画像上の対数密度を出力し、「良い」キーポイントの尤度を最大化するよう学習される。

$$\max_{\theta}\sum_{j=1}^{|\mathcal{D}|}\sum_{i=1}^{K^{j}} f_{\theta}(x_i^j|I^j)-\log Z_{\theta}(I^j), \qquad Z_{\theta}(I^j)=\sum_{x^j\in I^j}\exp(f_{\theta}(x^j|I^j)).$$

「正解」はMegaDepthのSfM再構成において3Dトラックとして生き残ったSIFT検出結果である。各画像はそのトラックの一部しか見ないため、ペア $(I^{\mathcal{A}}, I^{\mathcal{B}})$ をサンプリングし、共視な検出結果の和集合(MVS深度による)を用いる。

平滑化された二視点事前分布。 トラック検出位置のディラックデルタをガウス($\sigma=0.5$ px)と小さな均一項でぼかし、深度を用いて視点間でワープし、掛け合わせる: $p^{\mathcal{A}}_{\rm kp}\propto\tilde{p}_{\rm kp}^{\mathcal{A}}\cdot\tilde{p}_{\rm kp}^{\mathcal{B}\to\mathcal{A}}$ ――これは両方の画像で検出されたトラックでピークとなる。

半教師あり事後分布とtop-kターゲット。 基本検出器の再現率が不十分であるため、事前分布はネットワーク自身の予測に条件付けられる: $p\propto p_{f_\theta}\cdot p_{\rm kp}$。これにより、DeDoDeはSIFTが見逃したキーポイントを発見できる。ターゲットは上位 $k=\text{batchsize}\cdot 1024$ 個の検出結果で二値化され(退化解を回避)、$\mathcal{L}_{\rm detection}={\rm CE}(p_{f_\theta}, p_{\text{top-}k})$ が得られる。さらに、カバレッジ正則化項 $\mathcal{L}_{\rm coverage}={\rm CE}(\mathcal{N}(0,\sigma^2)*p_{f_\theta},\,\mathcal{N}(0,\sigma^2)*p_{\rm MVS})$($\sigma=12.5$ px)により、検出結果がマッチ不可能な領域(例えば空)を避けるようになる。推論では単純に上位 $K$ 点を取るだけで、非最大値抑制は行わない。

記述子は別個に学習される。 第2のネットワーク $\mathbf{g}_\theta$(重みは共有しない)は、対称な対数尤度 $\ell_{g_\theta}=\log p_{g_\theta}(x^{\mathcal{A}}|x^{\mathcal{B}})+\log p_{g_\theta}(x^{\mathcal{B}}|x^{\mathcal{A}})$ を最大化する。ここで $p_{g_\theta}$ は256次元に正規化された記述子の内積に対するソフトマックス(温度 $1/20$)であり、学習済みのDeDoDeキーポイント上で評価される(画像あたり $K=5000$)。これにより、同時学習法における扱いにくい正規化項が消える。

アーキテクチャ。 両方のネットワークはImageNet事前学習済みのVGG-19エンコーダ(ストライド1–8、チャネル64–512)を使用し、DKMスタイルの深さ方向畳み込みリファイナーデコーダによって、複数スケールにわたって密なロジット/記述子グリッドを残差的に精緻化する。DeDoDe-G は、ストライド14の固定DINOv2特徴を追加デコーダステージ(次元768)として加える。検出器の学習: 100kステップ、バッチ8、512×512、A100 1枚で約30時間。記述子の学習は約24時間。SotA評価は784×784で実施。

実験結果

• MegaDepth-1500の相対姿勢(MNNマッチング): DeDoDe-Bは49.4 / 65.5 / 77.7 AUC@5°/10°/20°、DeDoDe-Gは52.8 / 69.7 / 82.0――対してDISKは35.0、SiLKは39.9、ALIKEDは41.9、SuperPointは31.7(AUC@5°、DISKに対して+17.8、SiLKに対して+12.9、ALIKEDに対して+10.9の向上); DeDoDe-Gは単純な最近傍マッチングでLoFTR(52.8)に匹敵する。
• IMC2022(非公開テストセット、30kキーポイント): DeDoDe-Bは72.9、DeDoDe-Gは75.8 mAA@10――対してDISKは64.8、SiLKは68.5(+7.4)、SuperPoint+SuperGlue(72.4)と競合する水準。
• 検出器の再現性(MegaDepth、10k個のキーポイント、0.1%閾値): DeDoDeは40.1、対してDISKは32.6、ALIKEDは26.4、SiLKは21.2。
• コンポーネント入れ替え: SIFT/DeDoDe-B(41.1 AUC@5°)とDISK/DeDoDe-B(41.5)は、いずれも元のSIFT(36.5)およびDISK(35.0)パイプラインを上回るが、完全なDeDoDeにはおよそ8ポイント劣る――検出器と記述子の両方が寄与していることを示している。
• アブレーション: カバレッジ損失を除去すると、[email protected]%は37.1から29.7に低下する。事後分布/top-kを用いず事前分布に直接教師信号を与えると34.8まで低下する。

SLAMにおける意義

特徴点ベースのSLAMでは、キーポイントの質が三角測量・バンドル調整・再位置推定など下流のすべてを規定する。DeDoDeの洞察――記述子マッチングの代理タスクではなく3D整合性で検出を教師する――により、広いベースラインや視点変化に耐えるキーポイントが得られる。これはまさに長期運用のSLAMやマッピングが必要とするものである。また、学習型フロントエンドを独立に最適化・組み合わせ可能な部品へと分解し、マッチャー(例:LightGlue)や自己位置推定スタックに接続するという、近年の潮流を示す好例でもある。

関連ノート

• SuperPoint
• DISK
• R2D2
• LightGlue
• RoMa — 同一グループの研究;DeDoDe-Gで使用される固定DINOv2特徴
• Foundation models