Advantages

イベントカメラは従来のフレームカメラに対して4つの大きな利点を持ち、それらはすべて画素ごとの変化駆動型センシング原理から直接導かれる。それぞれの利点がなぜ成り立つのかを理解する価値がある。なぜなら各利点は、フレームベースSLAMの特定の故障モードに対応しているからである。

高いダイナミックレンジ(140 dB以上)

各画素は対数輝度を相対的なしきい値と比較するため、センサは絶対的な明るさではなくコントラストに反応する。

$$\Delta L = \log I(t) - \log I(t_{\text{last}}) \gtrless \pm C$$

比較が対数的であり、各画素が独立に自身の動作点を設定するため、間違えるようなグローバルな露出設定というものが存在しない。結果として、ダイナミックレンジは標準的なカメラの約60 dBに対しておよそ140 dBに達する。直射日光下での飽和も、暗い通路での信号消失もなく、両者が混在するシーン(トンネルから出る運転、暗い部屋にある窓など)でも利用可能な出力が得られる。フレームカメラはセンサ全体に対して1つの露出を選ばなければならないが、イベントカメラはそもそも選択自体を行わない。

モーションブラーがない

フレームカメラにおけるブラーは時間積分アーティファクトである。露光時間中シャッターが開いたままシーンが動くことで、強度が画素間に塗りつぶされる。イベントには露光ウィンドウが存在せず、各イベントは輝度エッジが画素を通過した正確な瞬間を符号化するため、高速な運動はブレたイベントではなくより多くのイベントを生成する。ストリームの情報量は運動速度とともに実際に増加し、これはフレームカメラの挙動とは正反対である。

低レイテンシ(マイクロ秒オーダー)

画素はしきい値を超えた瞬間に発火し、レイテンシはマイクロ秒オーダーであり、次のフレームスロットを待つ必要がない。ロボティクスにおいて重要な帰結が2つある。

• 知覚から行動へのループを、30〜60 Hzのフレームレートが許す以上にはるかに高速に閉じることができる。典型的な実証例はクアッドロータでの障害物回避や積極的な飛行である。
• イベントは標準カメラのフレーム間の運動情報を提供する。これはまさにハイブリッドシステム(EKLT、EDS、Ultimate-SLAM)がイベントを用いる方法であり、フレームが見た目を固定し、イベントが時間的なギャップを埋める。

低電力・低帯域幅

何も変化しないときは画素が沈黙するため、データレートは解像度×フレームレートではなくシーンの活動量に応じてスケールする。ほぼ静的なシーンでは出力がごくわずかになり、平均帯域幅と電力消費はフルイメージをストリーミングするフレームカメラよりもはるかに低く抑えられる。これはバッテリー駆動、常時稼働、ウェアラブルデバイスにとって魅力的である。(裏を返せば、高速に動くテクスチャの多いシーンは1秒間に数百万イベントを生成しうる。課題を参照。)

まとめ

有用なメンタルモデルは、イベントカメラは絶対輝度を時間精度とダイナミックレンジと引き換えているということだ。フレームカメラが失敗する場面(高速、暗所、高コントラスト)でこそ真価を発揮し、フレームカメラが得意な場面(低速あるいは静的で、テクスチャが豊富なシーン)では最も弱くなる。これが、実用的な多くのシステムが両方を融合する理由である。

SLAMにおける意義

視覚SLAMの典型的な故障モード — 積極的な運動中のモーションブラー、HDRや低照度シーンでの追跡ロスト、レイテンシに制約される制御 — は、イベントカメラの強みに一対一で対応する。これが、イベントベースSLAM研究がドローンやAR/VRヘッドセットなど機敏なプラットフォームを対象とする理由である。Ultimate-SLAMのようなシステムは、この見返りを具体的に示している。イベントをフレームおよびIMUと融合することで、フレームのみのVIOが完全に失敗する照明・速度条件下でも状態推定を維持できる。

関連ノート

• Event cameras (DVS)
• Challenges
• Ultimate-SLAM
• EDS
• Event-based Vision Survey