LLaVA

Liu 2023 · 論文

一行要約 — LLaVA(Large Language and Vision Assistant)は、固定されたCLIP画像エンコーダを単一の線形射影を介してVicuna LLMに接続し、GPT-4が生成した視覚的指示データでインストラクションチューニングを行うことで、強力なオープンソース対話型VLMの鍵はアーキテクチャの複雑さではなくデータ品質であることを示す。

問題

機械生成された指示追従データでLLMをインストラクションチューニングすることは、新しい言語タスクでのゼロショット能力を大幅に向上させたが、このアイデアはマルチモーダル分野ではほとんど探求されていなかった。当時のVLMは、莫大な計算量を要する(Flamingo)、複雑な橋渡しアーキテクチャを用いる(BLIP-2のQ-Former、Flamingoのゲート付きクロスアテンション)、あるいは非公開である(GPT-4V)かのいずれかであり、大規模にマルチモーダル対話データを手作業でラベル付けするのはコストが高く、定義も曖昧である。LLaVAは、最小限のアーキテクチャと機械生成されたマルチモーダル指示データによって、競争力があり再現可能なオープンVLMが得られるかを問う。

手法とアーキテクチャ

• GPT支援によるデータ生成: 言語のみのGPT-4に、COCO画像の2つの記号的表現——キャプションと物体のバウンディングボックス座標——を与え、3種類の応答を生成させる: マルチターンの対話(58K)、詳細な説明(23K)、複雑な推論(77K)であり、合計158Kの言語-画像指示追従サンプルとなる。文脈内学習のための少数の手作業で設計されたシード例が、唯一の人手による注釈である。
• アーキテクチャ: 入力画像 $\mathbf{X}_v$ は事前学習済みのCLIP ViT-L/14エンコーダ $g(\cdot)$(最後のTransformer層の前のグリッド特徴)を通り、1つの学習可能な射影行列 $\mathbf{W}$ がその特徴をVicuna LLM $f_{\boldsymbol{\phi}}$ の単語埋め込み空間にマッピングする:

$$\mathbf{H}_v = \mathbf{W} \cdot \mathbf{Z}_v, \quad \text{with } \mathbf{Z}_v = g(\mathbf{X}_v)$$

視覚トークン $\mathbf{H}_v$ は、テキストと並んでそのままLLMのコンテキストに配置される——Q-Formerもクロスアテンションモジュールも用いない。

• 学習目的関数: マルチターンデータ $(\mathbf{X}_q^1, \mathbf{X}_a^1, \dots, \mathbf{X}_q^T, \mathbf{X}_a^T)$ は単一の系列にシリアル化され、モデルはアシスタントのトークンのみに対して自己回帰的に学習される:

$$p(\mathbf{X}_a \mid \mathbf{X}_v, \mathbf{X}_{\text{instruct}}) = \prod_{i=1}^{L} p_{\boldsymbol{\theta}}\big(x_i \mid \mathbf{X}_v, \mathbf{X}_{\text{instruct},<i}, \mathbf{X}_{a,<i}\big)$$

ここで $\mathbf{X}_{\text{instruct},<i}$ と $\mathbf{X}_{a,<i}$ は、現在の予測トークン $x_i$ より前の指示トークンと応答トークンである。

• 2段階の学習: ステージ1(特徴アラインメント) — CC3Mを595Kの画像-テキストペアにフィルタリングし、単純な単一ターンの指示として扱う; 両方のバックボーンは固定され、$\boldsymbol{\theta} = \mathbf{W}$ のみを学習する(1エポック、学習率2e-3、バッチ128)——これは実質的に固定されたLLM用の視覚トークナイザを学習することになる。ステージ2(エンドツーエンドのファインチューニング) — 画像エンコーダは固定されたまま; $\boldsymbol{\theta} = \{\mathbf{W}, \boldsymbol{\phi}\}$ を158Kの指示データセットで学習する(3エポック、学習率2e-5、バッチ32)、8基のA100を用いる。
• 評価プロトコル: GPT-4が、正解の説明を与えられたテキストのみのGPT-4によって生成された参照回答に対して候補回答を判定し、相対スコアを出す——これが論文で導入されたLLaVA-Bench(COCO)とLLaVA-Bench(In-the-Wild)ベンチマークの基盤となる。

実験結果

• LLaVA-Bench(COCO)(90問): フルデータのLLaVAはテキストのみのGPT-4に対して相対的に**85.1%**のスコアを得る; インストラクションチューニングを除くとスコアは21.5(−63.6)に崩壊し、対話のみの学習では73.8となる——データの構成が重要である。
• LLaVA-Bench(In-the-Wild)(24画像、60問): LLaVAは全体で67.3 ± 2.0に達し、BLIP-2の38.1 ± 1.0(+29%)、OpenFlamingoの19.1 ± 0.4(+48%)を上回る。複雑な推論では81.7となる。
• ScienceQA: LLaVA単体で**90.92%の精度を達成する(当時のSoTAであるMM-CoT-Largeの91.68%に近い); GPT-4を判定者として意見の相違を裁定させると、新たなSoTAである92.53%**が得られる。2-shotのテキストのみのGPT-4単体では82.69%である。
• アブレーション: ステージ1なしでゼロから学習すると精度が5.11ポイント低下し85.81%となる; 7Bモデルは89.84%、13Bモデルは90.92%となる; CLIPの最終層特徴は最後から2番目の層の特徴より0.96低いスコアとなる。
• 定性的には、LLaVAはドメイン外の画像(例えばGPT-4のデモである「エクストリーム・アイロニング」)においても指示に従うが、BLIP-2とOpenFlamingoは単にシーンを説明するだけである。

SLAMにおける意義

LLaVAは対話型視覚言語モデルを民主化した: 「エンコーダ + 射影 + LLM」というレシピは、それに続くほとんどのロボティクスVLMや視覚-言語-行動システムの基盤となっている(同じパターンに従うVILAバックボーンを持つナビゲーションVLAであるNaVILA、そしてLLaVA-1.5のデータ混合で学習されたPrismaticバックボーンを持つOpenVLAを含む)。SLAMにとって、マップのレンダリングされたビューに接続されたLLaVA式のVLMは、シーン理解、物体識別、空間的な質問応答を提供する——幾何的なSLAMマップからオープンボキャブラリの意味的推論への、最も直接的な統合経路の1つである。

関連ノート

• CLIP
• BLIP-2
• SigLIP
• VLM vs VLA
• OpenVLA