LERF

Kerr 2023 · 論文

一行要約 — Language Embedded Radiance Fieldsは、ボリュームレンダリングを通じてCLIP特徴をNeRF内部に根ざし、自由形式の自然言語プロンプトからピクセル整合されたゼロショット3Dクエリを可能にする。

問題

人間は「視覚的な見え方、意味、抽象的な連想、実行可能な操作可能性という広範な性質」を包含する言語を通じて3D位置を指す — 「黄色いマグカップ」「書くための何か」のように。CLIPはそうしたプロンプトを画像に対して採点できるが、それは「本質的にグローバルな画像埋め込みであり、ピクセル整合された特徴抽出には向いていない」: クロップごとに1つの埋め込みしかなく、3D構造がない。従来のオープン語彙3D研究は領域提案、マスク、あるいはファインチューニングされた検出器(LSeg、OWL-ViT)に依存しており、クエリはそれらの検出器が学習されたカテゴリに限定されていた。LERFは、任意の言語が3D位置へと解決されるように、生のCLIP埋め込みをNeRF内でボリューム的に根ざす方法を問う。

手法とアーキテクチャ

• 点ではなくボリュームに対するフィールド。 単一の3D点でCLIPに問い合わせることは曖昧であるため、LERFはボリュームに対するフィールド $F_{\mathrm{lang}}(\vec{x}, s) \in \mathbb{R}^{d}$ を学習する: 位置 $\vec{x}$ と物理的スケール $s$($\vec{x}$を中心とする立方体の辺の長さ)である。出力は、そのボリュームを含む画像クロップの、学習視点にわたる平均CLIP埋め込みとして定義される。フィールドは視点独立であるため、複数の視点は同じ埋め込みへと平均化される。
• 言語のボリュームレンダリング。 レイ $\vec{r}(t) = \vec{o} + t\vec{d}$ に沿って、スケールは距離とともに増大する $s(t) = s_{\mathrm{img}} \cdot f_{xy} / t$(フラスタム)。埋め込みは、$T(t) = \int_t \exp(-\sigma(s)\,ds)$、$w(t) = \int_t T(t)\,\sigma(t)\,dt$ から得られる標準的なNeRF重み $w(t)$ で合成される:

$$\hat{\phi}_{\mathrm{lang}} = \int_t w(t)\, F_{\mathrm{lang}}\big(r(t), s(t)\big)\, dt, \qquad \phi_{\mathrm{lang}} = \hat{\phi}_{\mathrm{lang}} \big/ \lVert \hat{\phi}_{\mathrm{lang}} \rVert .$$

• マルチスケールCLIP教師信号。 クロップに対するCLIP埋め込みの事前計算された画像ピラミッド(スケール $s_{\min}=0.05$ から $s_{\max}=0.5$ まで7段階、重なり50%)が各レンダリングされたフラスタムを教師する。正解値 $\phi_{\mathrm{lang}}^{\mathrm{gt}}$ は、隣接する2スケールにおける最近傍4クロップから三線補間される。損失はコサイン類似度を最大化する:

$$L_{\mathrm{lang}} = -\lambda_{\mathrm{lang}}\, \phi_{\mathrm{lang}} \cdot \phi_{\mathrm{lang}}^{\mathrm{gt}}, \qquad \lambda_{\mathrm{lang}} = 0.01 .$$

• DINO正則化。 2つ目のヘッド $F_{\mathrm{dino}}(\vec{x})$ がピクセル整合されたDINO特徴を予測する(MSE損失、スケール入力なし)。DINOは推論時には一切使われない。バックボーンをCLIPヘッドと共有することが言語フィールドを正則化し、視点の少ない領域でのまだらで外れ値の多い関連度マップを修正する。
• 2つの独立したハッシュグリッド。 言語の最適化は「密度の分布に影響を与えるべきではない」: 1つのマルチ解像度ハッシュグリッド(Instant-NGP方式、32レベル、テーブルサイズ $2^{21}$)がCLIP/DINO MLPに供給され、別個のNerfactoフィールドが色/密度を担う。$L_{\mathrm{lang}}$ と $L_{\mathrm{dino}}$ の勾配はNeRFの出力に一切触れない。
• クエリ。 テキストプロンプト $\phi_{\mathrm{quer}}$ は、対の softmax 関連度スコアを通じて標準句(“object”、“things”、“stuff”、“texture”)と比較採点される:

$$\min_i \; \frac{\exp(\phi_{\mathrm{lang}} \cdot \phi_{\mathrm{quer}})}{\exp(\phi_{\mathrm{lang}} \cdot \phi_{\mathrm{canon}}^{i}) + \exp(\phi_{\mathrm{lang}} \cdot \phi_{\mathrm{quer}})},$$

スケール $s$ は0~2 mを30段階で走査し、最も高いスコアのものを選ぶことで自動選択される。学習視点5個未満しか見ていないサンプルは棄却される。

実験結果

• 設定: 実世界のハンドヘルド撮影シーン13個(食料品店、キッチン、書店、teatime、フィギュアなど)をiPhone上のPolycamで994×738で撮影; OpenCLIP ViT-B/16(LAION-2B); 1台のA100(約20 GB)で30kステップ≈45分、6kステップ(8分)で実用的な結果が得られる; クエリはNerfstudioビューア内でインタラクティブ/リアルタイムに実行できる。
• 位置特定(5シーンにわたる72個の注釈付き物体、成功は最高関連度ピクセルが正解ボックス内にあること): LERF全体で80.3% vs OWL-ViT 54.8%、3Dに蒸留したLSeg(DFF)18.0%。シーンごと: waldo_kitchen 81.5/42.6/13.0、bouquet 91.7/66.7/50.0、teatime 93.8/75.0/28.1、figurines 79.5/38.5/8.9(LERF/OWL-ViT/LSeg); OWL-ViTがLERFを上回るのはramenのみ(92.5 vs 62.5)。
• 存在判定(5シーンにわたる81個のロングテールクエリ): 適合率-再現率曲線は、LSegが分布内のCOCOラベルではLERFに匹敵するものの、ロングテールクエリでは崩壊することを示す。
• アブレーション: DINOを取り除くと関連度マップの滑らかさと境界が劣化する。単一スケール学習(固定15%クロップ)は、大きな文脈(“エスプレッソマシン”)と小さな対象(“クリーマーポッド”)の両方のクエリで失敗する。
• 限界: CLIPのbag-of-words的な振る舞い(“赤くない”≈“赤い”)、視覚的に似た物体への誤検出(ズッキーニと他の緑色野菜)、NeRF品質のキャリブレーションされたマルチビュー撮影が必要。

SLAMにおける意義

LERFは、視覚言語特徴を3Dシーン表現に直接埋め込むというパラダイム — Spatial AIの意味層、つまり話しかけられるマップ — を確立した。これは言語埋め込みガウシアンスプラッティング(LEGS、LangSplat)を直接的に触発し、ConceptFusionのような融合型アプローチを補完する。そのマルチスケールCLIP+DINOのレシピは、2Dの視覚言語特徴を3Dフィールドに蒸留するためのデフォルトの手法となった。ロボティクスにとって、「書くための何か」が3D位置へと解決されることは、SLAMマップを実行可能な世界モデルへと変えるものそのものである。

関連ノート

• LEGS
• ConceptFusion
• OpenScene
• NeRF
• CLIP