キーコンセプト
- センサーからの深度取得 — ストラクチャードライト対アクティブIR(ToF);メトリックスケールが無償で得られる一方、測定範囲・対象素材に制約がある
- フレーム対モデルトラッキング — フレーム間対応ではなく、各フレームを蓄積されたモデル(ICP)に対して位置合わせする手法
- TSDF対サーフェルマップ — 体積的な符号付き距離場融合(KinectFusion)対点ベースのサーフェル融合(ElasticFusion)
RGB-Dカメラデバイス
- Intel RealSense Dシリーズ
- Orbbec Femtoシリーズ(Azure Kinectの後継)、Orbbec Astra
- Luxonis OAK-D
- レガシー(生産終了): Microsoft Kinect v1/v2、Azure Kinect DK、Occipital Structure Core
GPGPUプログラミング
システム
| システム | 著者/年 | キーコンセプト |
|---|---|---|
| ICP | Besl & McKay 1992 | Iterative Closest Point、最近傍点対応、閉形式の剛体変換、局所収束(初期化が必要)、3D-3Dレジストレーションの基礎 |
| DTAM | Newcombe 2011 | → Level 3の直接法SLAMを参照 |
| KinectFusion | Newcombe 2011 | GPGPU、トラッキング(深度を3Dへ投影、表面法線、coarse-to-fine ICP)、マッピング(体積的統合、TSDF)、小規模なシーン変化にロバスト、変形をモデル化できない、地図の成長が立方的、部屋サイズのみ対応 |
| Double Window Optimisation | Strasdat 2011 | 内側ウィンドウ(ローカルBA)+外側ウィンドウ(ポーズグラフ)、共視グラフ、定数時間最適化 |
| Kintinuous | Whelan 2012 | ボリュームシフト、幾何、輝度、dBoW+SURF、最適化、ループクロージング |
| RGBD-SLAM-V2 | Endres 2013 | トラッキング(カラー画像、視覚特徴、深度画像、点群、変換)、マッピング(OctoMap 2013) |
| SLAM++ | Salas-Moreno 2013 | オブジェクト指向SLAM |
| DVO | Kerl 2013 | キーフレーム、深度、直接法、最適化、ループクロージング |
| RTAB-Map | Labbé 2014 | ループクロージング、地図統合、マルチセッションのメモリ管理 |
| MRS-Map | Stückler 2014 | Octree内のマルチ解像度サーフェルマップ、サーフェルごとの形状・色統計、ノイズを考慮したRGB-Dレジストレーション、CPUでリアルタイム動作 |
| ElasticFusion | Whelan 2015 | アクティブ:フレーム対モデルトラッキング(輝度+幾何)、同時最適化、融合されたサーフェルベースのモデル再構成 · 非アクティブ:ローカルループクロージング(モデル対モデルの局所表面、サブモデル分離)、グローバルループクロージング(ランダム化Fern符号化、非剛体空間変形) |
| DynamicFusion | Newcombe 2015 | 6次元運動場、変形可能なシーン |
| ORB-SLAM2(RGB-Dモード) | Mur-Artal 2017 | バンドル調整、疎な再構成(→ Level 3にも掲載) |
| BundleFusion | Dai 2016 | ローカルからグローバルへの最適化、疎なRGB特徴、粗いグローバル姿勢推定、精密な姿勢のリファインメント(幾何+輝度) |
| SemanticFusion | McCormac 2016 | 深層学習CNN、深層セマンティックSLAM |
| InfiniTAM v3 | Prisacariu 2017 | トラッキング(シーンのレイキャスト、深度画像、RGB画像)、リローカリゼーション(ランダムFern)、マッピング(TSDF再構成、ボクセルハッシング、サーフェル再構成) |
| Fusion++ | McCormac & Clark 2018 | 深層学習CNN、Mask-RCNNによるインスタンスセグメンテーション、物体レベルSLAM、事前形状なし、物体レベルTSDF再構成 |
| PointFusion / DenseFusion | Xu 2018 / Wang 2019 | RGB-Dによる物体の6自由度姿勢推定、点群+画像特徴の融合(物体レベルSLAMのための物体フロントエンド) |
| BAD SLAM | Schöps 2019 | 直接RGB-Dバンドル調整、サーフェルマップ、リアルタイムGPU BA、ETH3Dベンチマーク |
| RTAB-Map(RGB-D / LiDAR) | Labbé 2019 | マルチセンサーRGB-D/LiDAR対応、光源検出(2016) |
| MoreFusion | Wada 2020 | 深層学習によるインスタンスセグメンテーション、物体レベルの体積融合、体積的姿勢予測、3次元シーン再構成、衝突を考慮したリファインメント、セマンティックSLAM、物体姿勢推定、CADモデルのフィッティング |
| NodeSLAM | Sucar 2020 | Occupancy VAE、物体レベルSLAM(→ Level 5の潜在表現にも掲載) |
| DSP-SLAM | Wang (UCL) 2021 | DeepSDF形状事前分布+ORB-SLAM2、物体レベルの高密度再構成(モノキュラ/ステレオ/LiDAR) |