Open-YOLO 3D

Boudjoghra 2024 · 論文

一行要約 — 低速なSAM＋CLIPラベリングパイプラインをリアルタイムのオープン語彙2D物体検出器に置き換える高速なオープン語彙3Dインスタンスセグメンテーション手法で、従来の最先端に対して約16倍の高速化を達成する。

問題

オープン語彙3Dインスタンスセグメンテーションは大きな可能性を示してきたが、推論速度の遅さという代償を伴っていた：OpenMask3DやOpen3DISのような手法は、クラス非依存の3D候補領域を多数のビューに投影し、SAMで精緻化し、切り出した画像をCLIPでエンコードし、3D CLIP特徴量を集約することでラベル付けを行う——1シーンあたり5〜10分を要する。重要な着眼点は、クラス非依存の3Dインスタンスを画像に投影した時点で、そのインスタンス情報はすでに含まれているため、最終目標が各3Dマスクにテキストラベルを付与することだけであれば、視点ごとのSAMセグメンテーションは冗長であるという点である。もう一つのボトルネックは可視性計算であり、これはフレームごと・マスクごとに可視な点を反復的に数えることで行われていた。

手法とアーキテクチャ

パイプライン：3Dネットワークがマスクを提案し、2D検出器が複数ビューにわたってそのラベルに投票する。

• クラス非依存の3D候補領域：Mask3D（3D CNNバックボーン＋トランスフォーマーのマスクデコーダ）が、$N$点の点群に対して $K_{3D}$ 個のバイナリインスタンスマスク $M \in \mathbb{Z}_2^{K_{3D}\times N}$ を予測する（NMSでフィルタリングし、推論速度を保つためDBSCANは用いない）。
• 低粒度（LG）ラベルマップ：オープン語彙の2D検出器（YOLO-World XL）が、各RGBフレームについてボックス $(b_j, c_j)$ を出力する。各フレームはラベルマップ $\mathcal{L}_i \in \mathbb{Z}^{W\times H}$ となり、-1（クラスなし）で初期化される；ボックス領域は重み $w_j = b_j^H + b_j^W$ の降順でそのクラスラベルで塗られるため、より小さい（近くにあり、可視である）ボックスがより大きいものを上書きする。
• 高速化された可視性計算（VAcc）：すべての点が、1回のバッチ演算で全 $N_f$ フレームに投影される：$P^{2D} = (I \star E)\cdot P$（$I, E$ は内部パラメータ・外部パラメータ、$\star$ はバッチ行列乗算）。画像内可視性と遮蔽可視性はテンソル演算として計算される：

$$V^{f}=\mathbb{1}(0<P_{x}^{2D}<W)\odot\mathbb{1}(0<P_{y}^{2D}<H), \qquad V^{d}=\mathbb{1}(|P_{z}^{2D}-D_{z}|<\tau_{depth})$$

ここで $\mathbb{1}$ は指示関数、$D_z$ は深度マップから得られる実際の深度、$\tau_{depth}$ はしきい値である。全フレームにわたるマスクごとの割合的可視性は1回の計算で得られる：

$$V=\left((V^{f}\odot V^{d})\cdot M^{T}\right)\odot M_{count}^{-1}$$

$M_{count}$ はマスクごとの点数である。

• マルチビュープロンプト分布（MVPDist）：各3Dマスクについて、最も可視性の高い上位k個のフレームを取り、その投影された非遮蔽点座標におけるLGラベルマップの値を参照し、ラベル分布 $\mathcal{D}_j$ にプールする；マスクには最も出現頻度の高いクラスが割り当てられる——遮蔽と視点のあいまいさはマルチビューの合意によって解決され、CLIP特徴量の集約は一切行わない。
• 信頼度スコア：$s_m = s_{IoU}\cdot s_{class}$。MVPDistのクラス確率と、投影された3Dマスクのバウンディングボックスと最良マッチする2D検出との間の平均マルチビューIoUを組み合わせる。

実験結果

ScanNet200検証セット（312シーン、200カテゴリ；Mask3D候補領域；単一A100 40GB）：

• Open-YOLO 3D：24.7 mAP、31.7 mAP50、36.2 mAP25、21.8秒/シーン——2D+3D候補領域を用いるOpen3DISの23.7 mAP、360.12秒（約16倍高速、+1.0 mAP、+2.3 mAP50）、3Dのみを用いるOpen3DISの18.6 mAP（57.68秒）、OpenMask3Dの15.4 mAP（553.87秒）に対して優れている。テールクラス：21.6 mAP（OpenMask3Dの14.9に対して）。閉語彙のMask3D上限：26.9 mAP。
• Replica（48カテゴリ、ScanNet200で学習したMask3Dからの候補領域——汎化テスト）：23.7 mAP、16.6秒/シーン——Open3DISの18.5 mAP（187.97秒）およびOpenMask3Dの13.1 mAP（547.32秒）に対して優れている。
• 正解候補領域を用いたアブレーションにより、両方の置き換えが有効であることが確認される：SAMベースの高粒度マップをLGラベルマップに置き換え、CLIP特徴量をMVPDistに置き換えることは、いずれも処理時間を削減しながらmAPを維持または改善する；コードとモデルは公開されている。

SLAMにおける意義

オープン語彙セマンティクスは、ロボットが地図に関する言語的な問い合わせ（「消火器はどこにありますか？」）に答えられるようにするものだが、それがオンラインロボティクスに役立つのは対話的な速度で動作する場合のみである。Open-YOLO 3Dは、リアルタイム2D検出器とマルチビューラベル投票が、重量級のSAM＋CLIPパイプラインを3Dインスタンスのラベリングにおいて置き換えられることを示した——シーンごとのラベリングを数分から数秒に短縮し、オープン語彙セマンティックマッピングを、オフラインの後処理としてではなく、稼働中のSLAMシステムに実用的に組み込めるものにした。そのバッチ化された投影・可視性計算の仕組みは、任意のマルチビューセマンティック融合スタックにおいても直接再利用可能である。

関連ノート

• YOLO — この手法が活用するリアルタイム検出の系譜
• Grounding DINO — テキストプロンプト型オープン語彙2D検出
• SAM — 推論時に回避するセグメンテーション基盤モデル
• ConceptGraphs — 高速ラベリングの恩恵を受けるオープン語彙3Dシーングラフ
• OpenScene — ポイントレベルのオープン語彙3D理解
• Clio — まさにこの種の高速ラベリングを必要とするタスク駆動型オープンセットマッピング