FutureMapping 1

Davison 2018 · 論文

一行要約 — SLAMは汎用的な「Spatial AI」へと進化していくと論じるビジョナリーなポジションペーパー。実プロダクトへのギャップを埋めるには、SLAM計算の疎なグラフ構造をそれが動作するハードウェアと一致させるように、アルゴリズムをグラフプロセッサや新しいセンサーと共に共同設計する必要があると主張する。

問題

拡張現実用アイウェアや民生用ロボットのようなデバイスが必要とする視覚知覚性能と、実プロダクトに課される制約(電力、サイズ、コスト、レイテンシ)の中で可能なことの間には、大きなギャップが残っている(SemanticFusionのようなプロトタイプシステムは、必要な能力のごく一部のために大量の計算を要する)。Davisonは、根本的なボトルネックはSpatial AIの計算構造 — 分散的・疎で、学習されたコンポーネントと結合したグラフ構造の推定 — と、データ移動がコストを支配する集中型・メモリボトルネックのCPU/GPUアーキテクチャとの不整合にあると論じる。このギャップを埋めるには、アルゴリズム、プロセッサ、センサーの統合的な設計が求められる。

手法とアーキテクチャ

これは分析/ポジションペーパーであるため、その「手法」は方程式を伴うアルゴリズムではなく、アーキテクチャに関する議論である。

• SLAMからSpatial AIへ。 目標は抽象的なシーン理解ではなく、身体性を持つリアルタイムのクローズドループ能力である:(1) カメラ状態を推定しながら、永続的な世界モデル(幾何・見た目・意味の各側面を持ち、空間の各領域あたりの記憶量に上限がある)を段階的に構築・精緻化する;(2) 新しい画像の各々をモデルと低レイテンシで比較する(データアソシエーション);(3) トラッキングとマップ更新を通じて更新する。完全な生成的密モデルが重視されるのは、あらゆるピクセルを予測と照合できるためである — 「異常なものを認識するには、正常とは何かの完全な予測モデルを保持せよ」。
• SLAMにおけるグラフ。 本論文は自然なグラフ構造を特定する:ピクセルの規則的な画像グラフ、再構成されたシーンの不規則なマルチスケールマップグラフ、両者間の動的に変化する画像/モデル対応関係、そしてリアルタイムループの計算グラフ(KinectFusionのSLAMBench解析を拡張して具体的に描かれる)であり、その要素はCNNラベリング、レンダリング(モデルから画像への予測)、トラッキング、フュージョン、マップ統合、リローカリゼーション/ループクロージャ検出、マップ一貫性最適化、自己教師あり学習である。
• 提案されるデバイスアーキテクチャ(「Spatial AIブレイン」)。 メイン処理装置は、マップストア — 相互接続がマップグラフのトポロジを反映した多数のコアに分散された世界モデルであり、その場で自己を精緻化する(クラスタリング、セグメンテーション、ループクロージャ検出/最適化、正則化) — と、大規模並列な画像向け計算のためのリアルタイムループ領域、さらに各センサーの予測モデルを実行するカメラインターフェースを組み合わせたものである。ループクロージャとバンドル調整は、「グラフプロセッサ上でメッセージパッシング方式による実装に適した」グラフアルゴリズムとして特筆される。
• ハードウェアの現状。 CPU/GPUは分離した計算とメモリの間で高コストなデータ転送を必要とする;組み込みビジョンチップ(Movidius Myriad、HoloLens HPU)はアドホックである。興味深い賭けは、記憶と計算が分散したグラフ/ニューロモルフィック設計である:GraphcoreのIPU(それぞれがローカルメモリを持つ数千の相互接続コア、Poplarによってグラフトポロジにコンパイルされるプログラム)とSpiNNaker(最大100万個のARMコア)。
• センサー近傍処理と一般化されたイベントカメラ。 処理はセンサーの内部または近傍にも移すべきである — 例えばSCAMP5ビジョンチップ(256×256ピクセル、1.2 W、TV-L1風光学フローのようなローカル演算のためのピクセルごとのアナログ計算)— そしてイベントカメラのコンセプトは一般化されるべきである:モデルの予測がカメラに送られれば、理想的なセンサーは予測との差分がある場所のみを伝送する。
• アクティブビジョンの復活。 MonoSLAM時代のアクティブサーチ以降、ボトムアップな「力任せ」処理がずっと勝ち続けてきたが、グラフプロセッサはトップダウンで予測駆動な計算資源の割り当て(SLAM++の物体レベルマップの精神に通じる)を再び魅力的なものにする。

実験結果

ポジションペーパーであるため実験は報告していない;その成果は一連の予測と研究プログラムである(全体の議論、局所ポーズ精度/ドリフト、ポーズ再現性、トラッキングとリローカリゼーションの頑健性、レイテンシ、ピクセル単位の密な距離予測精度、物体セグメンテーション/分類精度、ARのピクセル位置合わせ、シーン変化検出、電力消費、ビット×ミリメートルで表されるデータ移動量からなる、純粋な軌跡ベンチマークを置き換えることを意図した多目的なSpatial AI指標の提案を含む詳細は論文を参照)。同論文が生み出した具体的な後続研究がこの研究プログラムを裏付けている:FutureMapping 2(GBPフレームワーク)、Bundle Adjustment on a Graph Processor(初のIPU実証)、そして分散マルチロボットGBP(DANCeRS)である。また本論文は現在サブフィールド全体を指す言葉として使われる「Spatial AI」という枠組みを作り出した。

SLAMにおける意義

本論文はSLAMコミュニティの重要な部分の研究アジェンダを再構成した:「Spatial AI」という枠組みを打ち出し、グラフプロセッサの研究プログラム(FutureMapping 2、IPU上のバンドル調整、分散マルチロボットGBP)を立ち上げた。特定のハードウェアへの賭けが商業的にはまだ実現していない部分があっても、知覚アルゴリズムと計算基盤は疎なグラフ構造を中心に共同設計されるべきだというその論旨は、AR眼鏡や組み込みロボット上のSLAMをどう考えるかを形作っている。

関連ノート

• FutureMapping 2 — GBPを詳述する技術的な後続論文
• BA on Graph Processor — IPU上で実証されたバンドル調整
• DANCeRS — マルチロボットシステムのための分散GBP
• Spatial AI —本論文が明確化したより広い概念
• Event cameras (DVS) —本論文が一般化するニューロモルフィックセンシングの方向性