VoT

Yugay 2025 · 論文

一行要約 — Visual Odometry with Transformers(後にFVO「Fast Visual Odometry with Transformers」に改題):単眼VOを、高容量な時空間Transformerと信頼度重み付き集約による直接的な相対姿勢回帰として定式化し、ネットワーク+バンドル調整のハイブリッドパイプラインを完全に置き換える。

問題

深層ネットワークと古典的最適化を組み合わせたハイブリッドパイプラインが visual odometryの主流である:ニューラルな予測とバンドル調整によって非常に精度の高い軌跡が得られる。しかしこれらのハイブリッド手法は、速度と能力の点で純粋なエンドツーエンド手法に及ばない――巨大で凍結された事前学習済みの3Dバックボーンに依存しており、それらはスケールが曖昧な状態で学習されているため、パイプラインは「本質的にこの制約を継承し、設計上、絶対スケールを推定できない」。また最適化と後処理の低速なステップが推論速度のボトルネックとなる。バンドル調整ベースの手法もまた、通常はカメラキャリブレーションが既知であることを前提としている。FVOは問う:後処理を完全に取り除いてしまえばどうなるか?

手法とアーキテクチャ

パイプライン:オーバーラップするフレームウィンドウ → 凍結エンコーダ → 時空間Transformerデコーダ → ペアごとの相対姿勢+信頼度 → 信頼度重み付き軌跡融合。バンドル調整なし、カメラ内部パラメータなし、テスト時最適化なし。

• エンコーダ:DUSt3Rフレームワーク内で学習された、凍結された3億パラメータのCroCo ViT。各画像は $h \cdot w$個のパッチに分割され($h = H/p$、$w = W/p$)、正弦波位置エンコーディングを持つ特徴 $F \in \mathbb{R}^{N \times (h \cdot w) \times d}$を与える。
• 時空間デコーダ:$L = 12$ブロック(2億パラメータ)からなり、各ブロックはマルチヘッド時間アテンション(フレームをまたいだ同一空間位置)、続いて空間アテンション(フレーム内)、そしてMLPを適用する――全アテンションに対する因子分解された代替手法である(163対380 GFLOPs)。学習可能なカメラ埋め込み $\mathrm{ce} \in \mathbb{R}^d$が連結され、$F_0 = [\mathrm{ce}, F]$となり、空間アテンションにのみ関与する(時間アテンションに注入すると精度が低下する)。
• 姿勢ヘッド:各連続ペア $(i, i+1)$について、カメラ埋め込みの単一線形射影が14次元ベクトルを出力する:生の回転行列 $\mathbf{F}_{i,i+1} \in \mathbb{R}^{3\times3}$、並進 $\mathbf{t}_{i,i+1} \in \mathbb{R}^3$、および信頼度 $\mathbf{c}_R, \mathbf{c}_t$。回転は直交プロクラステス問題を通じて多様体上に射影され、SVDで解かれる:

$$\text{Procrustes}(\mathbf{F}_R) = \arg\min_{\hat{\mathbf{R}} \in \mathbb{SO}(3)} \|\hat{\mathbf{R}} - \mathbf{F}_R\|_F^2$$

• 不確実性を考慮した損失:測地線回転誤差 $\mathcal{L}_{\text{rot}} = \cos^{-1}\big(\tfrac{\mathrm{Tr}(\mathbf{R}^\top \hat{\mathbf{R}}) - 1}{2}\big)$とL1並進誤差 $\mathcal{L}_{\text{trans}} = \|\mathbf{t} - \hat{\mathbf{t}}\|_1$がヘテロスケダスティックに結合される:

$$\mathcal{L} = \mathcal{L}_{\text{rot}} \exp(-\mathbf{c}_R) + \mathbf{c}_R + \mathcal{L}_{\text{trans}} \exp(-\mathbf{c}_t) + \mathbf{c}_t,$$

これにより信頼度は姿勢ラベルのみから自己教師的に学習される――深度や対応関係の教師データは不要である。並進は学習セットの統計量で非正規化され、メトリックな軌跡が得られる。

• 信頼度を考慮した推論:映像はオーバーラップするウィンドウ $\{1,\dots,K\}, \{2,\dots,K+1\}, \dots$に分割されるため、各相対姿勢 $(i,j)$は$M$回予測される。信頼度は正規化された重み $\tilde{w}^{(k)} = \exp(-\mathbf{c}^{(k)}) / \sum_{\ell} \exp(-\mathbf{c}^{(\ell)})$となる。回転は $\mathbb{SO}(3)$上の重み付きフレシェ平均で融合される($\bar{\mathbf{R}}_{i,j} = \arg\min_{\mathbf{R}} \sum_k \tilde{w}_R^{(k)} d^2(\mathbf{R}, \mathbf{R}_{i,j}^{(k)})$)。並進は重み付き平均で融合され、軌跡は合成 $\mathbf{T}_{i+1} = \mathbf{T}_i \bar{\mathbf{T}}_{i,i+1}$によって得られる。
• 学習:224×224の8入力ビュー、AdamW、250エポック、12基のH100 GPUで5日間;ARKitScenes、ScanNet、7-Scenes、TartanAir、KITTIで学習。

実験結果

未位置合わせおよび位置合わせ済みATE(RMSE、メートル単位)で評価される――未位置合わせが重要な理由は、実際のデプロイメントには位置合わせの対象となるグラウンドトゥルースが存在しないためである:

• FVO:ARKit 0.54 / 0.26、ScanNet 0.34 / 0.16、KITTI 50.31 / 8.47、TUM(すべての手法にとってゼロショット)0.47 / 0.19――全体を通じて最良または次点。
• ベースライン:MASt3R-SLAM-VO 0.60 / 0.28(ARKit)、0.99 / 0.22(ScanNet)、KITTIでは失敗;DPVO 5.48 / 0.49(ARKit)、194.55 / 9.74(KITTI)――位置合わせ後は正確だが絶対スケールが不良;VGGT 2.94 / 2.26(ARKit);CUT3R 2.42 / 0.67(ARKit);大規模3Dモデルは長いシーケンスで大きくドリフトする。
• 速度:RTX 3090上で、最速のベースラインの約2倍速い(公平のため、カメラヘッドのみを使ったVGGTで比較)。
• アブレーション:FVOのヘテロスケダスティックな信頼度は、DUSt3R式の画素単位信頼度の1.33、信頼度なしの1.21に対して、ATE 1.04を与える;SO(3)射影は、クォータニオン(1.19)、6D(1.12)、Plücker線(1.17)の回転表現より優れる;CroCoV2-DUSt3Rバックボーン(1.04)はDINOv2-VGGT(1.31)を大きく上回る。ATEは学習データが増えるほど、デコーダ層が増えるほど一貫して減少する。

SLAMにおける意義

VoT/FVOは、幾何推定をTransformerアーキテクチャへ移行させる大きな流れの一部であり、マッチングにおけるLoFTRやフルマルチビュー幾何におけるVGGTを生み出したのと同じ潮流である。SLAM学習者にとってのその価値は、設計空間のエンドツーエンドな極端値についての明快なケーススタディという点にある:オプティマイザを取り除くことで得られるもの(速度、メトリックスケール、キャリブレーション不要)と、犠牲になるもの(解釈可能な幾何バックボーン、動的シーンにおけるロバストネス)。命名について注意:arXiv版は当初「VoT」として発表され、後にFVOへ改題された。

関連ノート

• DROID-SLAM — CNN+最適化による学習型SLAMのベースライン
• DPVO — 疎パッチベースの学習型VOベースライン
• VGGT — 同じ潮流におけるフィードフォワードTransformerによるフル幾何
• LoFTR — Transformerベースの検出器不要マッチング
• TartanVO — 幾何スタイルの出力を保持した、より早期の汎化可能な学習型VO