Challenges

イベントカメラに利点をもたらしているのと同じ設計上の選択が、実際の障害も生み出している。これが、イベントカメラが実用SLAMシステムにおいてまだ標準になっていない理由である。以下の各課題は、センシング原理から直接生じる帰結であり、それぞれが独自の研究の系譜を生み出してきた。

絶対輝度がない

イベントは明るさの変化を符号化するが、明るさ自体は符号化しない。ディスクリプタや場所認識ネットワーク、光度損失を実行するための画像がない。見た目(アピアランス)を復元するには、併設されたフレームセンサ(DAVISのように、共有光学系の背後にDVSと標準センサを組み合わせたもの)か、輝度再構成アルゴリズムが必要であり、いずれもイベントが避けようとしていた制約の一部を再導入することになる。これが最も根深い障害である。視覚SLAMの認識に関する仕組み(ループクロージング、リローカライゼーション、地図の再利用)の大部分は見た目を前提としている。

スパースで非同期な出力

フレームも固定レートも、共通のタイムスタンプにおける密な画素グリッドも存在しない。特徴検出器、オプティカルフロー、直接アライメント、CNNなど、古典的な視覚ツールボックスのほぼすべてが画像配列を前提としているため、イベントデータはネイティブに処理する(新しいアルゴリズム設計)か、中間表現に集約する必要があり、後者はまさにこのセンサが選ばれた理由である時間分解能を犠牲にする。この取引についてはEvent representationsのノートで詳しく扱う。

新しいアルゴリズムが必要

上記2点のため、イベントベースSLAMはORB-SLAMやDSO風のパイプラインを単純に再利用することができなかった。この分野は独自の仕組みを発明する必要があった。運動推定のためのコントラスト最大化、データアソシエーションのためのタイムサーフェス、イベント駆動の特徴トラッカー(EKLT)、イベントに適応したステレオマッチング(ESVO)、シミュレートされたイベントで訓練された学習パイプライン(DEVO)などである。フレームベースSLAMで当然とされていたすべてのサブシステムを再構築する必要があった。

運動依存の信号

イベントは(カメラに対して)強度エッジが動く場所でのみ発火する。低速あるいはほぼ静止した運動下ではセンサは沈黙する — ホバリングするドローンはほとんど視覚信号を得られない — そしてイベントストリームの見え方は運動の方向と速度によって変化する。つまり同じシーンでも、カメラの動き方によって「見え方」が異なる。これはマッチング、マッピング、ループクロージングを複雑にし、融合システム(Ultimate-SLAM、ESVIO)が低速レジームのためにフレームカメラをループ内に残しておく根本的な理由となっている。

ノイズ、帯域幅のスパイク、成熟度

まとめ

課題帰結典型的な緩和策
絶対輝度がない認識・ループのための見た目がない併設フレーム(DAVIS)、輝度再構成
非同期なスパース性古典的ツールボックスが適用できないイベント表現、ネイティブなイベントアルゴリズム
運動依存の信号静止時に盲目になる、視点依存の見た目フレーム+IMUの融合(Ultimate-SLAM、ESVIO)
ノイズと帯域幅のスパイク静かな劣化、処理の過負荷フィルタリング、モーション補償、パラメータチューニング
シミュレーションから実世界へのギャップ学習モデルがシミュレータに過学習するより良いシミュレータ、ドメインランダム化

SLAMにおける意義

イベントカメラを選ぶことは単なるセンサの置き換えではなくシステム設計上の決断である。フロントエンド全体を再考する必要があり、ドリフト補正(ループクロージング)のサポートはフレームベースSLAMよりもはるかに弱い。実際には、最も成功している設計はイベントを補完として扱う。すなわち、フレームとIMUと融合すること(Ultimate-SLAM、ESVIO)で、各モダリティが互いの死角を補い合う。これらの限界を理解することで、余分な複雑さに見返りがあるのはいつなのかが分かる。高速なプラットフォーム、HDR環境、低レイテンシ制御である。

関連ノート