RF-DETR

Robinson 2025 · 論文

一行要約 — DINOv2事前学習済みバックボーンとエンドツーエンドの重み共有ニューラルアーキテクチャサーチを組み合わせた軽量な特化型検出Transformer（Roboflow + CMU）で、1回の学習実行から精度-レイテンシのParetoカーブ全体をなすデプロイ可能なサブネット群が得られる——その2x-largeバリアントは、COCOで60 APを超えた初のリアルタイム検出器である。

問題

オープン語彙VLM検出器（GroundingDINO、YOLO-World）は精度が高いがリアルタイム用途には遅すぎ、分布外クラスへの汎化も乏しい；特化型のリアルタイム検出器（D-FINE、RT-DETR、YOLOv8/v11）は高速だがファインチューニング済みVLMに劣る——著者らは、これらが専用アーキテクチャ、学習率スケジューラ、拡張スケジューラを通じて暗黙的にCOCOに過学習しており、モデルをCOCOに似たデータセット統計へ偏らせていると主張する。別の問題として、論文間でのレイテンシベンチマークは再現性がない（例えばD-FINEはLW-DETR自身の報告より25%高速だとLW-DETRを報告している）——著者らはこれをGPUの電力スロットリングに起因すると突き止めた。RF-DETRは、インターネット規模の事前学習とリアルタイムアーキテクチャを組み合わせ、任意の対象データセットへ転移し、再学習なしに任意のハードウェア予算に特化させることを目指す。

手法とアーキテクチャ

ベースモデルはLW-DETRを現代化したものである：事前学習済みViTバックボーンが、ウィンドウ付き/なしのアテンションブロックを交互に用いてマルチスケール特徴を抽出する；マルチスケールプロジェクタ（バッチ正規化ではなくレイヤー正規化を用い、コンシューマGPUでの勾配蓄積を可能にする）がデフォーマブル・クロスアテンションDETRデコーダに供給する；検出・セグメンテーション損失はすべてのデコーダ層に適用されるため、推論時に層を削除できる。

• インターネット規模の事前分布 — LW-DETRのCAEv2バックボーン（10層、パッチ16）はDINOv2（12層）に置き換えられる；DINOv2の重みで初期化することは小規模データセットで顕著に役立つ。低い学習率（$10^{-4}$）、0.1での勾配クリッピング、層ごとの学習率減衰0.8が事前学習された知識を保持し、追加のObjects-365事前学習が最適化の鈍化を補う。
• エンドツーエンドの重み共有NAS — 学習の各イテレーションで探索空間からモデル構成が一様にサンプリングされ、1回の勾配更新が実行される——これにより数千のサブネットが並列に学習される（ドロップアウト式のアンサンブルに似た、正則化としても働く「アーキテクチャ拡張」）。5つの調整可能なつまみは以下の通り：パッチサイズ（FlexiViT式のサイズ間補間）、デコーダ層数（層ごとの損失のおかげでドロップ可能——デコーダ全体を除去するとRF-DETRは単一ステージ検出器になる）、クエリトークン数（テスト時に各トークンのクラスロジットの最大シグモイド値でランク付けしてドロップする；Pareto最適な個数は画像あたりの物体数統計を暗黙的に符号化する）、画像解像度（位置埋め込みは最大解像度/最小パッチサイズで事前確保され、下方向へ補間される）、アテンションブロックあたりのウィンドウ数。探索は学習後に行われる：検証セット上での構成に対するグリッドサーチであり再学習は不要——学習中に一度もサンプリングされなかったサブネット（例えばパッチサイズ27や18）でさえ良好に機能する。
• スケジューラフリーの学習 — コサイン学習率スケジュール（固定の最適化期間を仮定する）も拡張スケジュールも用いない；拡張は水平反転とランダムクロップに限定される（例えば垂直反転は運転シーンで水たまりの反射による誤検出を引き起こしうる）、パディングを最小化するバッチレベルのリサイズを併用する。重みのEMAが学習率スケジューラの代わりを果たす。
• RF-DETR-Seg — 軽量なインスタンスセグメンテーションヘッドがプロジェクタ出力をバイリニア補間して画素埋め込みマップにする；マスクは（各デコーダ層からの）FFN射影されたクエリ埋め込みとそのマップとの内積であり、YOLACT式のプロトタイプとして解釈できる。SAM 2のマスクで疑似ラベル付けされたObjects-365で事前学習される。
• 標準化されたレイテンシプロトコル — 順伝播間に200msのバッファを挟むことでNVIDIA T4（TensorRT 10.4、CUDA 12.4）上の電力スロットリングを防ぎ、精度とレイテンシは同一のモデルアーティファクトから報告されなければならない：単純なFP16量子化はD-FINEを0.5 APまで低下させ、YOLOv8/v11もFP32からFP16へ移行すると精度が低下する。

実験結果

• COCO検出（val）: RF-DETR（nano）は2.3msで48.0 APに達し、同程度のレイテンシでD-FINE（nano、42.7 AP）を5.3 AP上回り、YOLOv8/v11のmediumと同水準；smallは3.5msで52.9 AP；mediumは4.4msで54.7 AP；2x-largeは17.2msで60.1 APに到達——COCOで60 APを超えた初のリアルタイム検出器である。Paretoカーブ上のすべての点は単一の学習実行から得られる。
• RF100-VL（100種の多様な実世界データセット）: RF-DETR（2x-large）は15.6msで63.3 AP（オプションのファインチューニングで63.5）——ファインチューニング済みGroundingDINO（tiny、309.9msで62.3 AP）を1.2 AP上回りつつ$20\times$高速に動作する；YOLOv8/v11は頭打ちとなりモデルを大きくしても改善せず、D-FINEはAP50でRT-DETRに劣る——COCO過学習の証拠である。
• COCOインスタンスセグメンテーション: RF-DETR-Seg（nano）は3.4msで40.3マスクAPを得て、報告されているすべてのYOLOv8/v11サイズおよびFastInst（34.9 AP）を5.4上回りつつほぼ$10\times$高速に動作する；medium（45.3 AP、5.9ms）はMaskDINO（46.3 AP、242ms）に迫る。
• アブレーション（COCO、medium）: 穏やかなハイパーパラメータはLW-DETRに対し1.0 APのコストとなる（52.6 → 51.6）、DINOv2バックボーンは+2.0を回復する（53.6）、Objects-365事前学習は+0.7（54.3）、重み共有NASは+0.3（54.6）——正味で同一レイテンシでLW-DETRに対し+2 AP、NASで発見された構成はCOCOでのファインチューニングを必要としない。
• バックボーンのアブレーション: DINOv2 ViT-S/14（54.3 AP、4.7ms）はCAEv2（52.3）、SigLIPv2 ViT-B/32（50.4）、SAM 2のHiera-S（53.6 APだが11.2ms——TensorRTのFlash-Attentionカーネルがプレーンな ViT を優遇するようになるとHieraの速度の主張は成り立たなくなる）を上回る。
• 発見された構成: COCOのParetoファミリーはnano（解像度384、パッチ16、デコーダ層2、DINOv2-S）から2x-large（解像度880、パッチ20、デコーダ層5、DINOv2-B）まで及び、いずれもクエリ数300——NASはパラメータ数ではなく解像度、パッチサイズ、ウィンドウ化、深さをトレードオフする。

SLAMにおける意義

セマンティックSLAMは同じ組み込みGPU上でトラッキング・マッピング・最適化と並行して検出器を実行するため、検出器は正確なレイテンシ予算に収まらなければならない——RF-DETRの重み共有NASは、これを「最も近いYOLOサイズを選ぶ」ことから「1回の学習実行から、目標レイテンシの10%以内のサブネットをダイヤルで選ぶ」ことへと変える。デプロイ後に計算予算が変化した場合も同様である。エンドツーエンドでNMS不要な設計（DETRから継承されRT-DETRによってリアルタイム化された）は、NMSパイプラインよりも予測可能なフレームごとのレイテンシを与え、リアルタイムスケジューリングにとって重要である；RF100-VLの結果はロボティクスに直接関わる——デプロイ先の領域（倉庫、農業、検査）はCOCOとはまったく異なり、まさにSLAMの動的物体マスキングに使われるYOLO系検出器が性能低下しがちな領域である。高精度リアルタイム検出とインスタンスマスクは、動的物体除去、オブジェクトレベルのランドマーク、セマンティックマッピングに供給される；また論文の電力スロットリングを考慮したレイテンシプロトコルは、あらゆるロボティクスベンチマークが採用する価値がある。留保点も同様に重要である：RF-DETRはクローズド語彙の特化型モデルであり——オープン語彙検出器のようにテキストでプロンプトするのではなく、デプロイごとにファインチューニングする必要がある。

関連ノート

• DETR — この系譜の起点となるエンドツーエンドでNMS不要な検出Transformer
• RT-DETR — リアルタイムに到達した初のDETR；RF-DETRはその後継LW-DETRの上に構築される
• YOLO — RF-DETRが上回る古典的リアルタイム検出器ファミリー、特にCOCO外で顕著
• Grounding DINO — RF-DETRが$20\times$の速度で上回るファインチューニング済みオープン語彙ベースライン
• SAM 2 — RF-DETR-SegのObjects-365事前学習に用いる疑似ラベルマスクを提供する