OpenGS-SLAM

Yang 2025 · 論文

一行要約 — 3D Gaussian上でのオープンセット密なセマンティックRGB-D SLAM: 特徴ベクトルを埋め込む代わりに各Gaussianが単一の明示的ラベルを持ち、Gaussian Voting Splattingと信頼度ベースの多視点ラベル合意によって、ノイズを含む2D基盤モデルのセグメンテーションを一貫したオブジェクトレベルの3Dマップへ変換する。

問題

従来のセマンティックSLAMシステムは「限られたカテゴリの事前学習済み分類器と陰関数的なセマンティック表現に一般的に制約され、オープンセットシナリオでの性能を妨げ、オブジェクトレベルの3Dシーン理解を制限している」。特徴埋め込み型3DGS手法(SemGauss-SLAM、NEDS-SLAM)はGaussianごとにN次元の埋め込みを格納するため、個々のGaussianのラベルを直接読み取ることができず——オブジェクトレベルの対話操作を妨げ——レンダリング・保存コストも膨らむ。明示的ラベルには3つの障害がある: (1)ラベルは微分不可能であり、標準的な3DGSラスタライザに乗せられない; (2)SAM系のセグメンタはビュー間で一貫しない(同じ物体が異なるラベルを得たり、部分に分割されたりする); (3)制約の弱いGaussianは肥大化し、セグメント境界をぼかす。

手法とアーキテクチャ

GS-ICP SLAM(トラッキングをG-ICPが担う)をベースに構築; 入力はRGB-Dストリームで、事前定義されたセマンティックカテゴリは無い。

アンサンブル・セマンティック情報生成器: RAMが画像にオープンセットのクラスをタグ付けし、これがYOLO-Worldに検出スコア付きのセマンティックボックスを生成させる; SAM(またはMobileSAMv2)は信頼度付きだがランダムなラベルIDを持つラベルマップを生成する。マスクとボックスはIoU(>0.5)によって照合され、入力ラベル-クラス表 $\mathcal{M}_{LC}^{I}$ になる; 大域表 $\mathcal{M}_{LC}^{G}$ はSLAM実行中に空集合から動的に成長する。
セマンティックGaussian表現: 各Gaussianは中心 $x$ 、共分散 $\Sigma$ 、不透明度 $o$ 、色 $f$ 、そして1次元の非微分可能なGSラベル $\ell$ を持つ——N次元特徴埋め込みを置き換える。
Gaussian Voting Splatting: Gaussianは $\Sigma' = JT^{-1}\Sigma T^{-T}J^{T}$ によって画像に投影され、色と深度について前から後ろへアルファ合成される: $C(p)=\sum_{i\in N} f_i\alpha_i\prod_{j=1}^{i-1}(1-\alpha_j)$ 。ラベルについては、各寄与Gaussianがブレンディング重みで投票する。

$w_j^i=\alpha_i\prod_{k=1}^{i-1}(1-\alpha_k), \qquad W_j=\sum_{g_i\in G_p^j} w_j^i$

そのピクセルは最も高い累積重み $W_j$ を持つラベル $\ell_j$ を取る。ピクセルごとの上位 $K=50$ 個の寄与者が $G_{topK}$ に記録されるため、ピクセルのラベルが $\ell_s$ から $\ell_t$ に変化した際、責任のあるGaussianを特定して明示的に再ラベル付けできる——勾度なしで高速なラベルレンダリングかつシーン更新が可能である。

信頼度ベースの2Dラベル合意: 入力ラベル $\mathcal{L}_s$ は、現在のマップからレンダリングされたラベル $\mathcal{L}_r$ と、4つのケースで照合される——完全一致(マップのラベルを採用し、最大信頼度を保持)、部分一致(各部分が面積重み付き信頼度 $\bar{\mathcal{C}}_s=\sum_i \mathcal{C}_s^i\,\lvert\ell_s^i\rvert / \sum_i \lvert\ell_s^i\rvert$ で投票; より信頼度の高い側が勝つ)、全体一致(対称的なケース)、または新規ラベル(閾値 $\tau_1{=}0.85,\tau_2{=}0.9,\tau_3{=}0.1$ )。2つの改良: 入力信頼度更新は部分的にしか見えていない物体のラベルを重み下げする(物体ごとの可視/全体Gaussian比率に基づく); 部分ラベル減衰は、あるラベルが部分として観測されるたびにその信頼度から $\delta=0.06$ を減じ、SAMの慢性的な過分割が繰り返し観測を通じて解消されるようにする。
セグメンテーション・カウンター・プルーニング: 完全一致したラベル対について、2つのマスクの対称差(“counter Gaussian”)に属し、かつスケールが $\theta$ (Replicaで0.10/TUMで0.25)を超えるGaussianは刈り込まれ、物体輪郭上に新しくより良く適合するGaussianのための余地が復元される。

実験結果

クローズドセットのセマンティックセグメンテーション(Replica、正解セマンティック事前情報を入力として使用): 全8シーンで最良のmIoU、例えばR0 93.24/Of4 93.77、対してSGS-SLAM 92.95(R0)、SNI-SLAM 88.42。
ゼロショットオープンセットの新規視点セグメンテーション(Replica平均): Ours(SAM1.0)はmIoU 61.91/Acc 73.11を165.47FPS、学習可能パラメータ301.71MBで達成、対してGS-Groupingは59.15/69.94を16.14FPS(717.12MB)、Feature 3DGSは48.89/57.51を11.03FPS(894.91MB)——約10倍高速なセマンティックレンダリングと約2倍低いストレージが主張されている。
トラッキング/マッピング(Replica平均): ATE 0.16cm——他の密なセマンティックSLAM(SemGauss-SLAM 0.33、SGS-SLAM 0.41)に対し最大51%の相対改善——表中最良のPSNR 39.49とLPIPS 0.034も併せて達成。TUMでは平均ATE 2.15cm(fr1-desk 2.40、fr2-xyz 1.57、fr3-office 2.48)で、SplaTAM(3.25)やGICP-SLAM(2.28)を上回る。
アブレーション(Replica、SAM1.0ベースライン63.17 mIoU/74.51 Acc): 部分ラベル減衰を除くと5.96 mIoU/10.2 Acc失う; 入力信頼度更新を除くと3.39/5.4失う; カウンター・プルーニングを除くと0.26/1.49失う(これは主に境界を鮮明にするものであり、論文はトラッキング改善の要因もこれに帰している——境界がきれいになることでG-ICP整合が改善するため)。
明記された限界: 動的シーンには適用できない。

SLAMにおける意義

OpenGS-SLAMは、3DGSベースの密なSLAMと、2D基盤モデル駆動のオープン語彙マッピングの交点に位置する。その離散ラベル投票方式は、オブジェクトレベルでオープンセットなシーン理解が、すべてのマッププリミティブに重い言語特徴を埋め込む必要はない——これはConceptFusion/LERF型マップの主たるコスト上の問題である——ことを示し、また明示的なGaussianごとのラベルこそが、物体の削除・移動・選択といった対話タスクに必要なものであることを示している。さらに、セマンティックな整理が幾何を助けることも示している: ラベル誤りのある肥大化したGaussianを刈り込むことで、G-ICPトラッキングが実測可能な程度に改善した。

OpenGS-SLAM

問題

手法とアーキテクチャ

実験結果

SLAMにおける意義

関連ノート