CoPeD

Zhou 2024 · 論文

一行要約 — CoPeDは、空陸ロボットチームを中心に構築された包括的な実世界マルチロボット協調認識データセットであり、協調認識研究をシミュレーションに留めていた評価上のギャップを埋めるために作られた。

問題

過去10年間で単一ロボットの認識は大きく進展したが、マルチロボットの「協調」認識はほとんど未開拓のままであり、その大きなハードルの一つが実世界データセットの欠如であった。協調認識は、センサノイズ、遮蔽、そしてセンサ故障そのものの下で、ロボット間の「圧縮され、断続的で、限定的で、ヘテロジニアスで、非同期な」環境情報を融合することを要求する。既存のマルチロボットデータセットは主にSLAM（ロボット間の視野重複が限定的な幾何マッピング）向けに設計されており、一方で協調認識向けのデータセットはV2V自動運転ベンチマークであり、大半がシミュレーションで空中視点を欠いていた。CoPeDはまさにこのギャップを埋めるために構築された。

手法とアーキテクチャ

データセット論文であるため、CoPeDの「手法」は収集・キャリブレーション・アノテーションのパイプラインである（中心的な数式は含まれていない）。

• プラットフォーム（地上ロボット3台＋空中ロボット2台）: Clearpath WarthogにはOuster OS1-64の3D LiDAR、LORD Microstrain 3DM-GX5-25 IMU、u-Blox EVK-M8T GNSS、RealSense D435i/D455ステレオカメラ、2台のFLIR Blackfly Sカメラ、ハードウェア時刻同期用のMasterclock GMR1000が搭載されている。Clearpath Jackalも同様の構成を持つ。カスタムのNYU-ARPLクアッドロータには前方向きのRealSense D435i、下向きのIMX219カラーカメラ、PX4オートパイロット、GPSが搭載されている。すべてのロボットは、NTP時刻同期を伴う単一の5G Wi-Fiサブネットワーク上でROS 1を動作させる。
• 意図的に重複を設計したシーケンス: 屋内の「Indoor-NYUARPL」（38 m × 60 mの実験室・通路、空中1台＋地上1台のシーケンス3本と2台＋2台のシーケンス1本、空中ロボットは地上ロボット（0.5 m/sで移動）の2 m上を飛行）、屋外の「HOUSE」（150 m × 30 m）と「FOREST」（100 m × 80 m）では、チームが空陸のサブチームに分かれ、空中ロボットは高度2〜10 mで飛行し、地上ロボットは最大1.5 m/sで走行する。1シーケンスでは編隊効果を調べるため、走行中に空陸のペアリングを切り替える。比較用に、単一空中ロボットのシーケンスもいくつか追加されている。
• ポーズアノテーション: 空中ロボットはGPSとOpenVINSのステレオ視覚慣性オドメトリを融合する。地上ロボットはIMUとホイールオドメトリを使用する。ロボット間の相対ポーズは、地上ロボットに取り付けられた8つのAprilTagの束から得られ、空中ロボットの下向きカメラで検出され、PnPで解かれる。内部・外部パラメータはKalibrでキャリブレーションされ、IMUの内部パラメータはアラン分散解析によって求められ、共有キャリブレーションボードによってチーム全体の開始ポーズが揃えられる。
• ゼロショット認識アノテーション: RAM＋Grounding DINO＋SAM（後処理による2Dボックス）によるセマンティックインスタンスマスクを、フレーム間で時間的一貫性を持たせる伝播モデルで生成する。単眼デプスアノテーションはZoeDepthから得る（RealSenseのステレオベースラインが短いため、古典的なSGBM／グラフカットステレオより現代的な単眼デプスの方が優れているため選ばれた）。
• 実世界のノイズを残したまま: 色のジッタリング、時間的に不連続なLiDAR強度、屋内および森林の樹冠下でのGPSの欠落・ドリフト、温度依存のIMU内部パラメータ、クロック同期の失敗――これらはシミュレーションが隠してしまう外乱そのものである。

実験結果

論文の評価は定性的であり、その貢献はインフラ的なものである。データセットは協調認識タスク上で実演される。2台の空中ロボットと1台の地上ロボットが特徴マップを共有するグラフニューラルネットワークシステムがマルチロボットの単眼デプス推定とセマンティックセグメンテーションを実行し、遠方の物体（デプスにおける木、セグメンテーションにおける家）の予測を回復し、単一エージェントのベースラインと比較して、1台のロボットの画像センサが破損している場合でもロバストであり続ける。ゼロショットのセマンティック・デプスアノテーションは、屋内・屋外のシーケンスにわたって示されている。完全なシーケンス表とセンサ仕様は論文を参照。データとツールはarplaboratory/CoPeDで公開されている。

SLAMにおける意義

協調SLAM論文は歴史的に、仮想エージェント間で人為的に分割された単一ロボットデータセット上で評価されてきたが、これは実運用の難所――非同期なセンシング、ヘテロジニアスなプラットフォーム、同じ場所に対する本当に異なる視点――を隠してしまう。CoPeDは、Kimera-MultiやSwarm-SLAMのようなC-SLAMシステムに、単一ロボットVIOに対するEuRoCと同様の、現実的な空陸ベンチマークを提供する。そしてAprilTagベースのロボット間グラウンドトゥルースは、ロボット間閉ループとマップマージの評価を直接支援する。

関連ノート

• Kimera-Multi — この種のデータセットがベンチマークする分散メトリック・セマンティックC-SLAMシステム
• Swarm-SLAM — マルチロボットデータで評価された分散型C-SLAMフレームワーク
• Inter-robot loop closure — ロボット間の視野重複が試すべく設計された能力
• Map merging — 空陸のサブマップを1つのフレームに整合させること
• Communication constraints — このデータセットが体現する実世界の条件（断続的で限定的なリンク）