ConceptFusion

Jatavallabhula (MIT) 2023 · 論文

一行要約 — 画素アラインされた基盤モデルの特徴(CLIP、AudioCLIP)を、深度や色に用いられるのと同じ重み付き平均化を用いて密なSLAM点マップに融合し、学習やファインチューニングなしにゼロショットのオープン語彙かつマルチモーダル(テキスト/画像/クリック/音声)なクエリを3Dマップ上で可能にする。

問題

3Dマップにセマンティクスを付与するほとんどのアプローチはクローズドセットである。学習時に固定された有限のラベル集合上でのみ推論を行い、マップはクラスラベル、良くてもテキストでしかクエリできない。基盤モデルはモダリティを横断してオープンセットの概念を理解するが、画像全体を消費し単一の画像レベルベクトルを出力する — 画素アラインメントはない。一方、画素アラインメントのためにファインチューニングされたモデル(LSeg、OpenSeg)はファインチューニング中に長尾の概念を忘却する。バックボーンのCLIPは”diet coke”や”lysol”を知っているが、ファインチューニングされたバージョンではもはやそれらを検索できない。ConceptFusionは、画素アラインされ忘却しないオープンセットの特徴を、ゼロショットで3Dマップに取り込む方法を問う。

手法とアーキテクチャ

• マップ表現: 順序のない点集合。点$k$は位置 $\overline{v}_k\in\mathbb{R}^3$、法線 $\overline{n}_k$、信頼度カウント $\bar{c}_k$、オプションの色、概念ベクトル $f^{P}_k$ を保持する。システムはgradSLAM実装のPointFusion密なSLAM上に構築されており、オドメトリとマッピングはフレームレート(15 Hz)で動作し、特徴抽出はオフライン(RTX 3090で画像あたり10-15秒)で行われる。
• 画素アラインされた特徴(中核となる貢献): 画像$X$について、クラス非依存のインスタンスセグメンター(Mask2FormerまたはSAM)が$R$個の領域を提案する。大域埋め込みは $f^{G}=\mathcal{F}(X)$、各領域のバウンディングボックスがローカル埋め込み $f^{L}_i=\mathcal{F}(\mathrm{bbox}(r_i))$ を与える。各領域の特徴は大域文脈とローカルな詳細を混合し、その領域がどれだけ典型的かによって重み付けされる。大域特徴とのコサイン類似度 $\phi_i=\langle f^{L}_i, f^{G}\rangle$ と、他の領域との平均類似度 $\bar{\varphi}_i=\frac{1}{R}\sum_{j\neq i}\varphi_{ij}$ がsoftmaxで結合される。

$$w_i=\frac{\exp\big((\phi_i+\bar{\varphi}_i)/\tau\big)}{\sum_{i=1}^{R}\exp\big((\phi_i+\bar{\varphi}_i)/\tau\big)}, \qquad f^{P}_i = w_i f^{G} + (1-w_i) f^{L}_i$$

$\tau=1$で、$f^{P}_i$ は正規化され $r_i$ の画素に割り当てられる。ファインチューニングをしないため忘却もない — 変更されていないCLIP特徴空間が保持される。

• 3Dへのマルチビュー融合: 深度/色に使われるのとまったく同じロジックである。マップ点に対応する各画素について:

$$f^{P}_{k,t} \leftarrow \frac{\bar{c}_k f^{P}_{k,t-1} + \alpha f^{P}_{u,v,t}}{\bar{c}_k + \alpha}, \qquad \bar{c}_k \leftarrow \bar{c}_k + \alpha$$

ここで $\alpha=e^{-\gamma^{2}/2\sigma^{2}}$ はカメラ中心からの正規化された半径距離 $\gamma$ による重み付け($\sigma=0.6$)である。

• クエリ: 点ごとのスコア $s_k=\langle f_k, q_{\text{mode}}\rangle$(コサイン類似度)。$q_{\text{mode}}$ はマッチするエンコーダーから得られる — CLIPテキストエンコーダー、画像レベルのCLIP埋め込み、音声用のAudioCLIP、あるいは単純にクリックされた点の融合済み特徴。閾値処理/NMS/クラスタリングにより3Dの関心領域が得られる。
• 3D空間的比較器: クエリ結果に対する組み合わせ可能なモジュール(HowFar、IsToTheLeft/Right、OnTopOf、Under)。LLMがオプションで「冷蔵庫とテレビはどれくらい離れているか」を2つのクエリ項に対するhowFarとして解析する。

実験結果

• UnCoCo(新規データセット: 78個のテーブルトップオブジェクト、20個のRGB-Dシーケンス、12,075フレーム、50万件超のマルチモーダルクエリ)。構造化テキストクエリ: 3D mIoU 0.446(OpenSeg-3Dの0.289、LSeg-3Dの0.128、MaskCLIP-3Dの0.091に対して; [email protected]: 69.44% vs 36.11%)。非構造化テキスト: 0.378 vs 0.153。画像クエリ: 0.331 vs 0.134(LSeg-3D)。音声クエリ: 精度64.29% / 66.67%(源が曖昧な場合/生態学的な場合)、特権的なAudioCLIPベースラインの23.81% / 22.22%に対して。
• オープンセットセマンティックセグメンテーション: ScanNet mAcc 0.63 / f-mIoU 0.58 — ゼロショットのMaskCLIP(0.24/0.28)を大きく上回り、特権的にファインチューニングされたLSeg(0.70/0.63)と競合する; SemanticKITTI 0.79/0.78。要旨の見出し: 長尾の概念を教師あり手法に対して「3D IoUで40%以上のマージンで」保持する。
• アブレーション(ScanNet): 大域CLIPのみ0.35/0.48、ローカルのみ0.43/0.33、ユニークネス項なし0.55/0.46、フルモデル0.63/0.58; Mask2FormerをSAMに置き換えるとReplicaスコアが24.16/31.31から31.53/38.70に上昇する。
• 3D空間推論(100件のScanReferクエリ): 距離84%、相対位置76%、支持96%、包含72% — 2.5D単一画像ベースラインは、参照対象が同時観測されたことがないため距離(32%)と相対位置(28%)で崩壊する。
• 実機ロボット: UR5eによるゼロショットのテーブルトップ再配置(“push baymax to the right”)、および drive-by-wire車両で4,000m²の都市部マップ上でのテキスト駆動の自律ナビゲーション(LeGO-LOAM位置推定、“football field”のようなオープンセットのテキストゴール)。
• 明記された限界: メモリ(数百万点にわたる高次元埋め込み)、合成性/否定を欠く前景中心の特徴、基盤モデルから継承されたバイアス。

SLAMにおける意義

ConceptFusionはオープンセットのマルチモーダル3Dマッピングを開拓し、今や標準となったパラダイムを確立した。2D基盤モデルの特徴 + 古典的な多視点融合、3D学習は一切不要である。これは古典的SLAMとSpatial AIの間の重要な橋渡しであり、ロボットの位置推定を行う同じマップが「このボトルを開けるのに使えるものはどこにあるか」に答える。そのメモリコスト(点ごとの完全な埋め込み)はまさに後続システムが対処する問題である。暗黙的特徴フィールドを用いるLERF/LEGS、離散ラベルを用いるOpenGS-SLAM、オブジェクトレベルのノードを用いるConceptGraphs。

ハンズオン

• ConceptFusionを実行する

関連ノート

• LERF
• OpenScene
• LEGS
• ConceptGraphs
• CLIP
• Foundation models