LightGlue

Lindenberger 2023 · 論文

一行要約 — 適応的な深さと幅により大幅に高速化された、再設計されたSuperGlue: 簡単な画像ペアはネットワークを早期に抜け、確信度の高いマッチまたは棄却されたキーポイントはそれ以降の計算から取り除かれる。

問題

SuperGlueは学習型の疎マッチングを最先端の技術として確立したが、固定の計算予算を消費する: 画像ペアの難易度に関わらず、すべてのキーポイントがすべての層を通過し、そのSinkhornによる最適輸送ヘッドは高コストで、学習が非常に困難であることが知られている——後続研究は元のモデルの性能に到達できなかった。LightGlueはSuperGlueの設計上の判断を一つずつ見直し、単純だが効果的な改善を導き出し、各ペアの難易度に応じて推論を適応的にする。

手法とアーキテクチャ

画像$A$と$B$からのローカル特徴(正規化された位置$\mathbf{p}_i \in [0,1]^2$、記述子$\mathbf{d}_i \in \mathbb{R}^d$、$d{=}256$)が与えられると、LightGlueは$L = 9$個の同一の層を積み重ね、各層は自己注意+交差注意ユニット(4ヘッド)から成り、点ごとの状態$\mathbf{x}_i$($\mathbf{d}_i$で初期化)を更新する:

$$\mathbf{x}^{I}_{i} \leftarrow \mathbf{x}^{I}_{i} + \mathrm{MLP}\big(\big[\mathbf{x}^{I}_{i} \,\Vert\, \mathbf{m}^{I\leftarrow S}_{i}\big]\big)$$

ここで$\mathbf{m}^{I\leftarrow S}_i$はソース画像$S$内の状態の注意重み付き平均である。

• 相対回転位置エンコーディング(自己注意): $a_{ij} = \mathbf{q}_i^\top\, \mathbf{R}(\mathbf{p}_j - \mathbf{p}_i)\, \mathbf{k}_j$。ここで$\mathbf{R}$は学習された基底への射影によって$d/2$個の2次元部分空間を回転させ、相対的な位置のみを捉える(画像面内のカメラ並進に対して等変)。これはSuperGlueの絶対MLPエンコーディング(ネットワークが忘れがちな)の代わりに、すべての層で適用される。
• 双方向交差注意: キーのみでクエリなし: $a^{IS}_{ij} = \mathbf{k}_i^{I\top} \mathbf{k}_j^{S} = a^{SI}_{ji}$。したがって$O(NMd)$の類似度は両方向に対して1回だけ計算される(実行時間を20%節約)。
• Sinkhorn+ダストビンに代わる軽量ヘッド: ペアごとの類似度$\mathbf{S}_{ij} = \mathrm{Linear}(\mathbf{x}_i^A)^\top \mathrm{Linear}(\mathbf{x}_j^B)$は、点ごとのマッチ可能性$\sigma_i = \mathrm{Sigmoid}(\mathrm{Linear}(\mathbf{x}_i))$と分離されており、次のように組み合わされる:

$$\mathbf{P}_{ij} = \sigma_i^A\, \sigma_j^B\, \mathrm{Softmax}_{k \in \mathcal{A}}(\mathbf{S}_{kj})_i\, \mathrm{Softmax}_{k \in \mathcal{B}}(\mathbf{S}_{ik})_j$$

対応点は、$\mathbf{P}_{ij}$が閾値を超え、かつその行と列に沿って最大となるペアである——相互最近傍探索と学習型インライア分類器の融合であり、最適輸送よりはるかに安価である。

• 適応的深さ(早期終了): コンパクトなMLPが各層の後に点ごとの確信度$c_i = \mathrm{Sigmoid}(\mathrm{MLP}(\mathbf{x}_i))$を予測する。$c_i > \lambda_\ell$である点の割合が比率$\alpha$を超えると推論が停止する。
• 適応的幅(点の枝刈り): 確信度が高くかつマッチ不可能な点は、以降の層から除外され、二次的な注意コストを削減する。
• 深層監督: ヘッドが安価であるため、割り当てはすべての層で予測・監督される(負の対数尤度、加えてマッチ不可能な集合$\bar{\mathcal{A}}, \bar{\mathcal{B}}$に対する均衡マッチ可能性項を含む)。確信度分類器は、ある層のマッチが最終層のものと既に等しいかどうかを予測するよう後から学習される。
• レシピ: 100万枚の画像の合成ホモグラフィで事前学習し、MegaDepthでファインチューニング。画像あたり2000点、勾配チェックポインティング+混合精度により1台の24GB GPUで32ペアを収める——数GPU日で最先端の精度を達成。

実験結果

• MegaDepth-1500の相対姿勢(SuperPoint特徴、2048キーポイント): LightGlue RANSACのAUC@5°/10°/20°=49.9/67.0/80.1、44.2msに対し、SuperGlueは49.7/67.1/80.6、70.0ms。LO-RANSACでは66.7/79.3/87.9対65.8/78.7/87.5。適応バリアントは31.4msで49.4/67.2/80.1を維持——SuperGlueやSGMNetより2倍以上高速、稠密マッチャー(LoFTR 181ms、ASpanFormer 369ms)より5~11倍高速。
• HPatchesホモグラフィ: 疎マッチャー中で最高の精度(P 88.9対SuperGlueの87.4)、最良のDLT AUC(35.9/78.6 @1/5px)。
• Aachen Day-Night位置推定(hloc、4096キーポイント): 日中90.2/96.0/99.4、夜間77.0/91.1/100——SuperGlue(89.8/96.1/99.4、77.0/90.6/100)と同等の性能を、17.3対6.4ペア/秒(約2.5倍、最適化されたflash-attentionバリアントでは4倍、4096キーポイントをリアルタイムでマッチング)で達成。
• アブレーション(同一のホモグラフィ学習): LightGlueは精度86.8/再現率96.3に達する(SuperGlueの74.6/90.5に対し精度+12%、再現率+4%)、時間は19.4対29.1ms、収束もはるかに速い。
• 適応性: 簡単なペアは9層中約4.7層で終了し、1.86倍の高速化。難しいペアでも約28%の点が枝刈りされる。IMC 2021では、DISK(8K)+LightGlueが首位(平均AUC@5°/10°=58.8/70.0)。

SLAMにおける意義

SuperGlueは学習型マッチングが最近傍探索+比率テストより頑健であることを証明したが、その固定的な計算予算はリアルタイムSLAMには使いにくいものだった。LightGlueの洞察——問題の難易度に比例して計算量を消費し、重複の多い追跡フレームでは安価に、広ベースラインのループクロージャでは深く——は、遅延に敏感なパイプラインで学習型マッチングを実用的にし、hloc位置推定ツールキットではSuperGlueに代わるデフォルトのマッチャーとなった。現代の特徴ベースSLAMや再定位パイプラインを構築するなら、SuperPoint(またはDISK/SIFT)+LightGlueが標準的な出発点である。

関連ノート

• SuperGlue — それを高速化した先行手法
• SuperPoint — 最も一般的に組み合わされる特徴
• DISK — LightGlueをネイティブサポートする代替の特徴バックボーン
• LoFTR — 検出器不要の稠密な代替手法
• XFeat — 同じ効率性の目標を持つ軽量特徴
• hloc — 現在デフォルトのマッチャーとして採用されている位置推定ツールキット