評価指標

あるSLAMシステムが別のシステムより「良い」とはどう言えるのか。コミュニティの答えは、(モーションキャプチャ、GPS/INS、または測量グレードの基準からの)グラウンドトゥルースに対して計算される一対の軌跡誤差指標である:大域的な精度を測るATEと、局所的な精度を測るRPE。両者はそれぞれ異なる失敗を測定するため、標準として用いられている。

ATE: Absolute Trajectory Error(絶対軌跡誤差)

ATEは軌跡全体の大域的な整合性を測る。推定された軌跡 $\{\hat{T}_i\}$ は、まずグラウンドトゥルース $\{T_i^*\}$ に対して単一の剛体変換 $S$ (最小二乗によって求められる;単眼システムではスケールが観測不能なため相似変換)で位置合わせされる。その上で、

\text{ATE}_{\text{RMSE}} = \sqrt{\frac{1}{N}\sum_{i=1}^{N} \left\| T_i^* - S\hat{T}_i \right\|_F^2}

実際には、並進部分がメートル単位のRMSEとして報告される。ATEが高いということは、蓄積されたドリフト、または軌跡を大域的に歪めた誤ったループクロージャを示している。

RPE: Relative Pose Error(相対姿勢誤差)

RPEは局所的な精度 — 時間または距離あたりのドリフト — を測る。ギャップ $\delta$ にわたる相対運動について、 $Q_i = T_i^{-1} T_{i+\delta}$ (グラウンドトゥルース)と $\hat{Q}_i = \hat{T}_i^{-1} \hat{T}_{i+\delta}$ (推定値)とすると、

\text{RPE}_i = Q_i^{-1} \hat{Q}_i

並進部分と回転部分のRMSEはそれぞれ別に報告される(例えば並進誤差の%と度/mなど)。KITTIの公式指標はRPEの一種であり、100〜800mの部分区間にわたって誤差を平均化する。

なぜ両方が必要なのか

局所的な追跡は優れているがループクロージャを持たないビジュアルオドメトリシステムは、RPEが低くATEがひどく悪い場合がある。積極的な(時に誤った)ループクロージャを行うシステムは逆の傾向を示すことがある。ATEは大域的な地図の正確さに報酬を与え、RPEはオドメトリの品質を分離して測り、ドリフトが発生した場所には影響されない。論文を比較する際は、位置合わせの規約(SE(3) vs. Sim(3))も確認すること — スケール調整された単眼の数値は、メートルスケールのステレオ/VIOの数値と比較可能ではない。

標準ベンチマーク

データセット	センサー	環境	グラウンドトゥルース
KITTI Odometry	ステレオ + LiDAR + IMU	屋外走行	GPS/INS
TUM RGB-D	RGB-D + IMU	屋内ハンドヘルド	モーションキャプチャ
EuRoC MAV	ステレオ + IMU	屋内UAV	モーションキャプチャ

KITTI:グラウンドトゥルース付きの訓練用シーケンス11本と、非公開のテスト用シーケンス11本。100〜800m長のすべての部分区間で平均した並進・回転誤差の%で評価される。
TUM RGB-D:難易度が様々な39本のシーケンス(静的シーン、動的物体、モーションブラー)。ATEが標準的な指標であり、その評価スクリプトが両方の指標を普及させた。
EuRoC:2つの建物からの11本のシーケンスで、難易度が段階的に設定されている(V1_01のイージーからV2_03のディフィカルトまで)。ATEとRPEの両方が報告され、良好に同期されたIMUデータを持つ — VIOの標準的な実証の場である。

ツール

事実上の標準評価ツールはevoであり、一般的な軌跡フォーマット(TUM、KITTI、EuRoC、ROSバッグ)を読み込み、明示的な位置合わせ制御付きで両方の指標を計算する。

evo_ape tum groundtruth.txt estimate.txt -a          # ATE with SE(3) alignment
evo_ape tum groundtruth.txt estimate.txt -as         # ...Sim(3): also aligns scale (monocular)
evo_rpe tum groundtruth.txt estimate.txt --delta 1 --delta_unit m   # RPE per meter

スクリプト内で位置合わせのフラグを明示することが、あなたの数値を公開されている数値と比較可能に保つ鍵である。

結果表を読む(または作る)際の落とし穴

位置合わせの不一致 — Sim(3)で位置合わせされた単眼のATEを、SE(3)で位置合わせされたステレオのATEと同じ列に並べるのは公正な比較ではない。
タイムスタンプの対応付け — 推定値とグラウンドトゥルースは異なるレートでサンプリングされている。対応付けの許容誤差がスコアを密かに変えてしまう。
非決定性 — マルチスレッドのSLAMシステムは実行ごとに異なる軌跡を生成する。まじめな評価は一回の幸運な実行ではなく、複数回の実行にわたる統計を報告する。
追跡失敗は平均値に隠れる — 追跡を失い、生き残った断片だけを報告するシステムは、見かけ上低いATEを示すことがある。完全性と失敗率も併せて報告されるべきである。
指標は平均値しか測らない — ATEが同じ2つのシステムでも、不確実性の質は大きく異なることがある。整合性を参照。

精度以外にも、まじめな評価は実行時間、ロバスト性(実行間の追跡失敗率)、そして確率的推定器については整合性も報告する。これらは軌跡指標だけでは捉えられない。

SLAMにおける意義

ATEとRPEはこの分野の共通の通貨である:すべてのSLAM論文の結果表はこれらの上に構築されているため、文献を批判的に読むため、あるいは自分のシステムが動作すると主張するためには、これらが正確に何を測っているか、そして何を隠しているかを正確に知っておく必要がある。これらは日常的な工学ツールでもある:RPEの悪化はフロントエンド/オドメトリを指し示し、RPEが安定しているのにATEが悪化する場合はループクロージャまたはバックエンドを指し示す。