VLMが画像を処理するときの標準的な構成は、CLIP系の対照学習などで別途事前学習した視覚エンコーダーを言語モデルの前に置く方式だ。近年はエンコーダーを言語モデルと共同でゼロから学習する方式(Kimi K3のMoonViT-V2)や、エンコーダー自体をなくすencoder-free構成(Gemmaなど)も現れている。しかし既存モデルはデータ・アーキテクチャ・計算量がそれぞれ異なるため、公開モデル同士の比較では「どこが効いているか」を分離できなかった。論文はこの問題を、視覚エンコーダーが抱える3つの設計判断――(1)別途事前学習による視覚的事前知識、(2)視覚専用のパラメータ容量、(3)その容量をマルチモーダル融合の前に置く配置――に分解して、1つずつ効果を測る枠組みで扱う。
「視覚的事前知識は必要ない。ゼロから共同学習したエンコーダーは、別途の学習段階なしに、事前学習済みのエンコーダーと同等だった。」
We find that the visual prior is not necessary; an encoder trained jointly from scratch is on par with a pretrained one, without a separate training stage.
比較の足場としては、主要比較にQwen3の1.7Bと4B構成を使い、視覚専用容量を0.4Bパラメータに固定する。評価は一般・知識・OCR・チャート・視覚中心の16のCambrian系VQAベンチマーク(各チェックポイントをCambrian-7Mで3エポック指示調整して測定)と、常識推論・科学QA・知識・読解の12言語ベンチマークだ。訓練データはテキストがNemotron-CC v2/v2.1、画像・テキストがMetaCLIP 1.2ペア(英語サブセット)で共通。総学習計算量の勘定には指示調整を含めない(評価手順として固定のため)。
最初の設計判断が「事前学習の有無」だ。MetaCLIP・WebSSL・Cap・CapPaの4方式でエンコーダーを事前学習しても、その計算量が生涯予算の7.4%ないし15%の範囲では、ゼロから共同学習したエンコーダーと同等だった。予算の60%を事前学習に割くと明確に劣後する。MetaCLIP方式の事前学習(1.54×10^21 FLOPs)との比較では、どの規模でもゼロから学習した方が同等以上だった。さらに事前学習を「タダ」(計算量の勘定外)にしても利益は出ない。MetaCLIP事前学習を1.4×10^21〜9.0×10^21 FLOPsに増やすとImageNet線形評価は80.4%から84.4%に上がるが、その後のVQAは最短の事前学習で最も高く、ゼロから学習したエンコーダーと同等にとどまった。
スクラッチエンコーダー
- VQA平均
- 44.4%
- テキスト平均
- 49.7%
エンコーダーなし
- VQA平均
- 39.0%
- テキスト平均
- 50.7%
エンコーダーなし+0.4B追加
- VQA平均
- 38.8%
- テキスト平均
- 51.4%
arXiv:2611.17334 HTML版Table 2(%、著者実験)。エンコーダーなしは視覚理解で明確に劣後するが、テキストは同等。0.4Bパラメータをバックボーンに加える拡大(+wider)は38.6%、深層化(+deeper)は38.7%、両方で38.8%と、総パラメータをそろえても差は埋まらない。カテゴリー別の劣後はOCR・チャート系で最大。
2つ目の判断が「視覚専用容量の有無」だ。エンコーダーをなくすと、画像パッチは線形埋め込みで共有バックボーンに直接入る。結果は図解のとおりで、VQA平均は44.4%から39.0%に下がり、エンコーダー分の0.4Bをバックボーンに再配分しても回復しない。同じパラメータは視覚エンコーダーとして使う方が視覚理解に効く、という読みになる。規模を0.6B〜6.4Bの5段階に変えた追加実験では、エンコーダーなしはエンコーダーと同等のVQAに達するまでにおよそ3倍の計算量を必要とし、この傾向は全規模で一定だった。
3つ目の判断が「容量の配置」だ。論文のin-fusion構成は、視覚専用のFFN分岐と(予算が許す範囲で)視覚専用のattention射影を、バックボーンの最初の8層にゼロ初期化で追加する。融合前のスクラッチエンコーダーと同じ0.4B容量・同じ予算で比べると、長期学習予算でのVQAは同等(次の図)。つまり視覚専用容量は融合の前段に独立したエンコーダーとして置く必要がなく、バックボーン内部の初期層に統合できる。
融合前スクラッチエンコーダー
- VQA平均
- 48.9%
- テキスト平均
- 55.3%
統合型(FFNのみ)
- VQA平均
- 48.6%
- テキスト平均
- 55.6%
統合型
- VQA平均
- 49.2%
- テキスト平均
- 55.9%
エンコーダーなし
- VQA平均
- 44.8%
- テキスト平均
- 55.7%
arXiv:2611.17334 HTML版Table 26(1.11Tトークン換算の学習予算、%、著者実験)。統合型2構成は融合前エンコーダーと同等。4B(2.90×10^22 FLOPs)でも同様で、スクラッチエンコーダー54.5%に対しエンコーダーなしは51.7%。
統合型のもう一つの利点が推論速度だ。融合前のエンコーダー方式では、言語モデルが画像リクエストを処理する前に別のネットワークが画像を処理する。統合型ではバックボーンの層の一部がその処理を担うため、初回トークンまでの時間(TTFT)を短くできる。測定はH200 GPU1基・16同時リクエスト・448px画像(1,024ビジョントークン)+256テキストトークンの条件で、4回実行の中央値を報告している。
融合前スクラッチエンコーダー
- 1.7B
- 210ms
- 4B
- 405ms
統合型(FFNのみ)
- 1.7B
- 171ms(−18%)
- 4B
- 365ms(−10%)
統合型
- 1.7B
- 182ms(−13%)
- 4B
- 381ms(−6%)
エンコーダーなし
- 1.7B
- 146ms(−31%)
- 4B
- 340ms(−16%)
arXiv:2611.17334 HTML版Table 36のLarge(0.4B)予算・4回実行の中央値(著者測定)。括弧は融合前スクラッチエンコーダーに対する差。予算を大きくすると短縮幅が伸び、1.7BのHuge(924M)予算では統合型(FFNのみ)が−27%まで拡大。エンコーダーなしの短縮幅が最も大きいが、VQAでの劣後を伴う。先行のencoder-free研究がより大きな短縮(最大69%)を報告している場合は測定内容が異なる旨を論文は注記。
留意点
結果は著者自身の統制実験に基づく査読前のプレプリントで、コード・重みの公開は論文とプロジェクトブログのいずれにも確認できなかった。論文自身が限界として、(1)エンコーダー事前学習に追加データを使う公開エンコーダーの利益は否定していない、(2)実験は最大6.4Bのdenseバックボーンで、MoEへの拡張は今後の課題、(3)マルチモーダル学習の画像解像度は224×224で高解像度学習やテキスト寄りのデータは未検証、(4)動画・インターリーブデータとの相性は未解決、を挙げている。TTFTの短縮幅も特定の測定条件下の値だ。
この結果が示すのは「エンコーダーが不要になる」ではなく、「事前学習済みエンコーダーの調達という一段が、学習設計の選択肢として必須ではなくなる」ということだ。視覚専用容量は必要で、それはバックボーン内部に置ける。GUI操作や低遅延が求められる応用での活用は、本論文が示唆する範囲を超える編集部の見立てであり、実運用での費用・精度は未検証である。
出典
- arXiv:2611.17334「Unbundling Multimodal Vision Encoding」要旨・著者12名・所属(NYU、Meta FAIR)・投稿日2026-11-12の根拠。
- 同論文HTML版(v1)3設計判断の分解、実験設定(Qwen3 1.7B/4B・視覚容量0.4B・0.6B〜6.4Bラダー)、Table 2・26・36の数値、TTFT測定条件、Limitationsの根拠。
- プロジェクトブログ「Unbundling Multimodal Vision Encoding」in-fusionの初期8層構成、エンコーダーの規格(27層0.4B ViT、SigLIP So400m相当)、事前学習を無料にしてもVQAが上がらないことの再述の根拠。論文1ページ目脚注に記載。
出典の確認日 2026.11.16