ConceptGraphs

Gu 2023 · 論文

一行要約 — ConceptGraphsは、2Dファウンデーションモデルの出力(SAMのセグメントとCLIPの埋め込み)を3Dオブジェクトノードに融合し、LLMを用いてオブジェクト間の関係を推論することで、オープンボキャブラリな3Dシーングラフを構築する。これにより、プランニングに利用できる、言語でクエリ可能なマップが得られる。

問題

ロボットには、意味的に豊富でありながらタスク駆動の知覚とプランニングに対してコンパクトかつ効率的な3D世界表現が必要である。視覚言語特徴を3Dマップに注入する近年の試みは、点ごとの特徴ベクトルを生成するが、これは「大規模環境ではスケールしにくく、エンティティ間の意味的な空間関係も含まない」。一方、従来のクローズドセットのシーングラフは事前定義されたラベル集合に固定されてしまう。ConceptGraphsは、3D学習用データの収集やモデルのファインチューニングを一切行わずに構築可能な、オブジェクト中心でグラフ構造を持つオープンボキャブラリ表現を目指している。

手法とアーキテクチャ

姿勢付きRGB-Dフレーム $I_t = \langle I_t^{\text{rgb}}, I_t^{\text{depth}}, \theta_t \rangle$ が与えられると、ConceptGraphsはシーングラフ $\mathcal{M}_t = \langle \mathbf{O}_t, \mathbf{E}_t \rangle$ を逐次的に構築する。各ノード $\mathbf{o}_j$ は3D点群 $\mathbf{p}_{o_j}$ と融合された意味特徴 $\mathbf{f}_{o_j}$ を保持する。

• クラス非依存のセグメンテーション+埋め込み。 SAMがフレームごとにマスク $\mathbf{m}_{t,i}$ を生成する。マスクされた各切り出し画像はCLIPの画像エンコーダで埋め込まれ、単位特徴 $\mathbf{f}_{t,i}$ を得る。各マスクは3Dへ逆投影され、DBSCANでノイズ除去された後、マップフレームに変換される。

• マルチビューでのオブジェクト対応付け。 新しい検出結果は、重複するマップ上のオブジェクトに対して幾何的類似度と意味的類似度を組み合わせたスコアで評価される。

  $$\phi(i,j) = \phi_{\text{sem}}(i,j) + \phi_{\text{geo}}(i,j), \qquad \phi_{\text{sem}}(i,j) = \tfrac{1}{2}\mathbf{f}_{t,i}^{\top}\mathbf{f}_{o_j} + \tfrac{1}{2},$$

  ここで $\phi_{\text{geo}}(i,j) = \mathrm{nnratio}(\mathbf{p}_{t,i}, \mathbf{p}_{o_j})$ は、検出点のうち $\delta_{\text{nn}}$ 以内にマップオブジェクトの最近傍点を持つ点の割合である。貪欲な割り当てにより、各検出結果は最も高いスコアのオブジェクトに対応付けられる。もしどのスコアも $\delta_{\text{sim}}$ を超えなければ、新しいオブジェクトが生成される。

• オブジェクトの融合。 対応付けが成立すると、ノード特徴は移動平均 $\mathbf{f}_{o_j} = (n_{o_j} \mathbf{f}_{o_j} + \mathbf{f}_{t,i}) / (n_{o_j} + 1)$ (ここで $n_{o_j}$ は対応付け回数)によって更新され、点群は統合・ダウンサンプリングされる。

• ノードのキャプション付け。 各オブジェクトの最良10視点からの切り出し画像がLVLM(LLaVA)に渡され、「画像内の中心オブジェクトを説明する」ようプロンプトされる。LLM(GPT-4)がこれら10個の粗いキャプションを1つのノードごとに一貫したキャプションへと要約する。

• エッジの推論。 すべてのノードペア間の3DバウンディングボックスのIoUから密な類似度グラフが得られ、これを最小全域木(MST)に刈り込む。各MSTエッジについて、LLMに2つのキャプションと3D位置を与え、関係ラベル(例:「aはbの上にある」)を根拠付きで出力させる。これにより、学習済みの関係モデルでは得られないオープンボキャブラリなエッジが生成される。

• プランニングインターフェース。 各ノードはJSON(キャプション+3Dバウンディングボックス)としてシリアライズされる。言語クエリが与えられると、LLMが最も関連性の高いオブジェクトを選び、その姿勢を下流の把持・ナビゲーションパイプラインに渡す。実装:ボクセルサイズと $\delta_{\text{nn}}$ は2.5cm、$\delta_{\text{sim}} = 1.1$。検出器バリアント(CG-D)は、SAMのみの提案の代わりにRAMタグ+Grounding DINOのボックスを使用する。

実験結果

• シーングラフの品質(Replica、AMTでの人間評価): ノードキャプションはおよそ70%の頻度で正しいと判定される(エラーの大半はLVLMに起因)。エッジの関係ラベルは平均でおよそ90%の精度に達する。1シーンあたりの重複オブジェクト検出は0〜5件のみ。
• オープンボキャブラリな3Dセマンティックセグメンテーション(Replica、ConceptFusionプロトコル): ConceptGraphsは40.63 mAcc / 35.95 F-mIoU、CG-Dは38.72 / 35.82を記録。これに対しConceptFusionは24.16 / 31.31、ConceptFusion+SAMは31.53 / 38.70であり、はるかに小さいメモリフットプリントで同等またはそれ以上の性能を示す(専用にファインチューニングされたベースライン、例えばOpenSegは41.19 / 53.74)。
• テキストクエリによる検索(R@1): Replicaでは、LLMベースの検索は否定クエリでCLIPを上回る(0.80 対 0.26)。実際のラボスキャンでは、LLMは記述的クエリ、アフォーダンスクエリ、否定クエリすべてで1.00を達成し、CLIPは否定クエリで0.00となる。
• ロボットデモ: Clearpath Jackal(VLP-16 + RealSense D435i)上での言語駆動ナビゲーション、Boston Dynamics Spotでのオープンボキャブラリなピック・アンド・プレース(「もふもふしたガーガー鳴く物」→ダックの縫いぐるみ)、乱雑な環境を押し進むためのLLM推論による走行可能性判定、AI2Thorにおけるパーティクルフィルタによる自己位置推定とマップ更新。

SLAMにおける意義

ConceptGraphsは、通常のマルチビュー対応付けによって2Dファウンデーションモデルを3Dへ持ち上げられること――新たな3Dネットワークを必要としないこと――を示し、SLAMシステムの姿勢付きRGB-Dストリームを言語でクエリ可能なオブジェクトマップへと変換した。これにより、オープンボキャブラリなロボットマッピングのための、今では標準となったSAM+CLIP+LLMのレシピが確立された。そして点ごとの手法(ConceptFusion、LERF、OpenScene)とともに、オープンボキャブラリな3Dマップの設計空間――密な特徴表現かオブジェクト中心グラフか――を明確にした。SLAMの出力が言語駆動のプランナーへますます供給されるようになるにつれ、このようなグラフ構造を持つオープンセットマップは、現代のSpatial AIにおける「セマンティックマップ」の意味そのものを定義している。

関連ノート

• SAM
• CLIP
• ConceptFusion
• Hydra
• Clio
• OpenScene
• Grounding DINO