PyCuVSLAM

NVIDIA 2025 · 論文

一行要約 — NVIDIAのcuVSLAMに対するPython API。任意のリグ構成で1台から32台のカメラをサポートするCUDA加速視覚(-慣性)オドメトリおよびSLAMライブラリであり、Jetsonクラスのエッジデバイス上でもリアルタイム性能を実現する(テックレポート: arXiv 2506.04359, “cuVSLAM: CUDA accelerated visual odometry and mapping”)。

問題

高性能なSLAM実装はほぼ例外なくC++で書かれ、そのビルドシステムやミドルウェアと密結合しているため、Pythonを主戦場とするロボティクス開発者やML研究者にとって高い障壁となっている。パッケージング以外にも、このレポートは既存システムにおける3つの技術的ギャップを指摘している。すなわち「リソースの限られたプラットフォームでのリアルタイム性能に難があり、センサー構成の柔軟性が限られ、利用可能なハードウェア加速を十分に活用できていない」という点である。cuVSLAMはIsaac ROSとPython(PyCuVSLAM)の両方のAPIの背後にGPUネイティブなパイプラインを用意することでこれに応える。

手法とアーキテクチャ

cuVSLAMは、低遅延なローカル姿勢推定を直近$N$個のキーフレーム姿勢とその可視3Dランドマークからなるローカルオドメトリマップ上で行うフロントエンドと、大域的整合性のためのループ閉じ込みとポーズグラフ最適化を担う非同期のバックエンドに分かれている。

• 2Dモジュール: 画像を$N \times M$のグリッドに分割し、各パッチはtop-$k$のShi–Tomasi(“Good Features to Track”)キーポイントを提供する。ここで$k > \lfloor K_I / (N \cdot M) \rfloor$とすることで、一様なカバレッジを保ちつつ最小合計数$K_I$を満たす。トラッキングには各最適化ステップで正規化相互相関チェックを備えた改良版のピラミッド型Lucas–Kanade法を用い、生存トラック数が閾値を下回るとキーフレームが生成される。
• 3Dモジュール: 各キーフレームにおいて、ランドマークは多視点観測から三角測量され、非同期のCUDAスパースバンドル調整(まず姿勢、次に点をSchur補行列で解く)によって精緻化される。

$$\hat{T}^{bw}_{1:N},\hat{p}^{w}_{1:M} = \arg\min_{T^{bw}_{1:N},\,p^{w}_{1:M}} \sum_{i=1}^{N}\sum_{j=1}^{M}\sum_{k=1}^{C} \left\| \pi\!\left(T^{cb}_{k} T^{bw}_{i} p^{w}_{j}\right) - o_{j,k} \right\|^{2}_{\Sigma}$$

ここで$T^{cb}_k$は$k$番目のカメラ-ベース間変換、$T^{bw}_i$はベース-世界間の姿勢、$p^w_j$はランドマーク、$o_{j,k}$はその観測値である。フレームごとの姿勢は追跡中のランドマークに対するPnPから得られる。

• モード: ステレオ(デフォルト)、マルチステレオ — 任意のリグは、外部パラメータから自動的に構築されるFrustum Intersection Graph(視野の重なりをテストして生成)によってステレオペアに分解される。視覚-慣性 — $S=[T \in SE(3),\, v,\, b^a,\, b^w]$という15自由度の状態を、IMUプリインテグレーション因子、重力推定、VIスパースBAとともに用いる。モノラル(基礎行列によるブートストラップ、スケール不定)。モノラル-デプス — 再投影、輝度、深度、点対点因子を組み合わせた密なフレーム間アライメントをGPU上のLevenberg–Marquardt法で解く。
• バックエンド: キーフレーム特徴は各ピラミッドレベルからの$9\times 9$パッチである。ループ候補は過去の姿勢に対するkd木の半径探索から得られ、ランドマークパッチを現在の画像に追跡することで検証され、その後相対姿勢$\hat{T}^{bm}$が推定され、ポーズグラフが$T_{1:N} = \arg\min_{T_{1:N}} \sum_{i,j \in E} \| \mathrm{Log}(D_{ij}^{-1} T_i^{-1} T_j) \|^2$によって精緻化される。ここで$D_{ij}$は測定された姿勢差分である。

実験結果

• 速度: RTX 4090デスクトップでは1フレームあたりのトラック呼び出しが0.4 ms(ステレオ)/0.9 ms(モノラル)、Jetson AGX Orin(768×480入力)では1.8 ms/2.7 ms。Isaac ROS経由のライブステレオはJetson AGX OrinのCPU使用率約5.5%、GPU使用率約1.7%(640×480、60 FPS)。
• 精度(avgRTE / RMSE APE、スケール補正済み): KITTIステレオSLAMで0.27% / 1.98 m、対するORB-SLAM3は0.31% / 2.98 m、DPVO(モノラル)は21.69% / 195 m。EuRoCステレオSLAMで0.17% / 0.054 m、対するORB-SLAM3は0.21% / 0.068 m。TUM-VI Roomステレオ-慣性で0.12% / 0.12 m。論文はこれを、KITTIで平均軌跡誤差1%未満、EuRoCで位置誤差5 cm未満と総括している。
• マルチステレオ: 4台のステレオカメラを用いた実データのR2Bデータセットでは、SLAMがavgRTE 0.11% / APE 0.18 mに達し、より頻繁なループ閉じ込みのおかげで純粹なオドメトリに対しておよそ40%の改善が見られる。カメラを20〜60秒間ランダムに遮蔽するオクルージョンストレステストでは、1組でもステレオペアが可視であれば軌跡は滑らかに保たれた。

SLAMにおける意義

PyCuVSLAMは2つの業界トレンドを同時に体現している。すなわちハードウェア加速SLAMをプロダクション品質のコンポーネントとして提供することと、Python-firstなAPIによってロボティクスやML開発者がC++を書かずにSLAMを統合できる敷居の低さである。そのマルチカメラ的な定式化(frustumグラフ+リグレベルのPnP/BA)は、ORB-SLAM3のような単一カメラの研究システムとは対照的に、展開の主流を占めつつあるマルチセンサーロボットにとってもクリーンなテンプレートとなっている。

ハンズオン

• cuVSLAMを実行する

関連ノート

• ORB-SLAM3
• DPVO
• C++/Python interop
• Edge deployment
• OpenVINS