Foundation models
ファウンデーションモデルとは、大量かつ多様なデータで一度事前学習された大規模ネットワークであり、フリーズされた特徴抽出器として、軽くファインチューニングして、あるいはプロンプトとして、多数の下流タスクで再利用されるものである。この用語がSLAMの語彙に入ってきたのは、こうしたモデル群が知覚バックボーンとして直接有用であることが判明したためである。CLIP(画像-テキスト埋め込み)、SAM(プロンプト可能なセグメンテーション)、DINOv2(自己教師あり視覚特徴)、Depth Anything(単眼深度)、そしてDUSt3Rファミリー(生の画像ペアからの2視点3D再構成)などが挙げられる。
何が変わったか
なぜこれが重要なのかは、それまでの標準的なやり方と比較するとよくわかる。従来の学習済みモジュール(SuperPoint、MonoDepth)は控えめなデータセットでタスクごとに学習され、そのバイアスを継承していた。新しいドメインへの展開はしばしば再学習を意味した。ファウンデーションモデルはこの経済性を変える。
- ゼロショットの頑健性:インターネット規模のデータで事前学習された特徴量は、手作り特徴量や小規模学習特徴量を破綻させるような見た目の変化(照明、季節、スタイル)を乗り越える。例えばRoMaは、まさにこの頑健性のためにフリーズされたDINOv2特徴量の上に密なマッチングを構築している。
- 再利用可能なバックボーン:1つのフリーズされたエンコーダが、場所認識、マッチング、セグメンテーション、深度ヘッドを同時に提供できる — ロボット上の計算資源が複数タスク間で共有されている場合に魅力的である。
- オープンボキャブラリなセマンティクス:CLIPスタイルの埋め込みにより、固定ラベル集合なしに地図が言語クエリ(“消火器を見つけて”)に応答できるようになる — これがConceptFusion、ConceptGraphs、言語駆動シーングラフの基盤である。
- 大規模な幾何事前知識:DUSt3RとMASt3Rは、従来はマルチビュー幾何学の領域であった3D再構成そのものすら、画像ペアから直接点マップを出力する事前学習モデルに吸収できることを示している。その上にSLAMシステム(MASt3R-SLAM)が構築されている。
各ファミリーが提供するもの
| ファミリー | 学習対象/方法 | SLAMが得られるもの |
|---|---|---|
| CLIP / SigLIP | 画像-テキストペア、対照学習 | 地図と場所記述のためのオープンボキャブラリなセマンティクス |
| SAM / SAM 2 | 大規模なプロンプト可能セグメンテーション | 物体レベル・動的SLAMのためのクラス非依存インスタンスマスク |
| DINOv2 | 自己教師あり ViT | マッチング、VPR、対応関係のための頑健な密特徴 |
| Depth Anything (V1/V2)、Metric3D | 大規模深度(自己)教師あり学習 | 深度センサーが存在しない場合の密な単眼深度事前知識 |
| DUSt3R / MASt3R / VGGT | ポーズ付き画像ペア/コレクション | フィードフォワードな点マップ、マッチング、ポーズ — 幾何学が推論になる |
このメニューを知っておくことで、システム設計時に「無料で」得られるものが何か、そして各モデルが従来のレベル3/4のモジュールのどれを置き換えられるかがわかる。
SLAMシステムは実際どう活用しているか
- フリーズされた特徴量 + 古典的推定:ファウンデーション特徴量を抽出し、その上で古典的なマッチング/RANSAC/BAを実行する(DINOv2上のRoMa;サーフェルやガウシアンごとにCLIP特徴を融合するオープンボキャブラリマップ)。幾何学は正確なまま保たれ、知覚が頑健になる。
- フィードフォワード幾何 + 薄いSLAM層:DUSt3Rファミリーのモデルは点マップを直接出力し、MASt3R-SLAMのようなシステムはキーフレーミング、フィルタリング、大域的最適化をネットワークの周りに追加する — モデルがフロントエンドかつミドルエンドの大部分を担う。
- キーフレームレートのスケジューリングと蒸留:埋め込みハードウェアではフレームごとにViT-Lを走らせることは現実的ではないため、システムはファウンデーションモデルをキーフレームでのみ実行し、その出力を地図にキャッシュし、あるいはフレームごとのパスのために小型の生徒モデルへ蒸留する。
留意すべきトレードオフ
- 計算負荷:埋め込みハードウェア上のリアルタイムSLAMは、フレームごとの大規模ViT推論を許容できない可能性がある。最初からキーフレームレートでの利用や蒸留を計画すべきである。
- 粗い出力:特徴量は通常パッチ解像度(例えば画像の1/14)であり、深度予測はメトリックではなく相対的/アフィンであることが多い — 幾何学的最適化の前に、精度志向の精緻化やスケール整合ステージが通常必要となる。
- 統計的な失敗モード:ファウンデーションモデルは、再投影誤差チェックであれば検出できるような誤りを、確信を持って出力することがある — 反射面での幻覚的な深度、意味的には妥当だが幾何学的には矛盾するマッチングなど。これは、ネットワーク出力を盲目的に信頼するのではなく、ループ内に古典的な幾何学的検証を維持しておくべき強い論拠である。
- ライセンスと再現性:モデル重み、学習データ、利用条件は様々であり、フリーズされたサードパーティのバックボーン上に構築されたシステムは、その更新頻度とバイアスを継承する。
実践的なレシピ
レベル5以降で現れてくるパターンは次の通りである:パイプラインの中で頑健性が重要、意味論的、あるいは病的な部分(場所認識、広ベースラインマッチング、単眼深度、オープンボキャブラリラベル)にはファウンデーションモデル特徴を使い、精度が重要な部分(ポーズ最適化、マッピングの一貫性)には古典的推定を保持する。最新のシステム — MASt3R-SLAM、ConceptGraphs流のセマンティックマッピング — はまさにこの形をしている:大規模な事前学習モデルの上に載る薄い幾何学的レイヤーである。
SLAMにおける意義
ファウンデーションモデルは、SLAMのフロントエンドのあり方を再定義している。タスク特化のネットワークを学習する代わりに、現代のシステムはフリーズされた事前学習バックボーンを組み合わせる方向に進んでおり、最新のSLAMシステム(MASt3R-SLAM、ConceptGraphs流のセマンティックマッピング)は、こうしたモデルの上に載る薄い幾何学的レイヤーである。各ファミリーが提供するもの(CLIP:セマンティクス、SAM:マスク、DINOv2:頑健な特徴、Depth Anything:深度、DUSt3R:幾何学)を知っておくことで、システム設計時に「無料で」得られるものがわかる。