THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
プロダクト
新しいサービスや開発者向けの発表を紹介します。
1件新しい順
NYU・Meta FAIRが視覚エンコーダーの設計判断を分解検証──事前学習は不要、視覚専用容量は不可欠、初期層への統合で精度を保ち初回トークン遅延を短縮
Ellis Brown氏(ニューヨーク大学)ら12名(NYU・Meta FAIR)は2026年11月12日、マルチモーダル言語モデル(VLM)の視覚入力処理を「事前学習による視覚的事前知識」「視覚専用容量」「融合前の配置」の3つの設計判断に分解して統制的に比較する研究をarXivに投稿した(プレプリント、arXiv:2611.17334)。共通データで全構成をゼロから事前学習し、生涯計算量を揃えた比較で、(1)視覚エンコーダーの別途事前学習は不要、(2)視覚専用容量を削るとバックボーンを拡大しても視覚理解が劣後する、(3)容量をバックボーンの初期層に統合しても融合前エンコーダーと同等の精度を保ち、初回トークン遅延(TTFT)を短縮できる――と報告した。著者実験に基づく査読前の結果で、コードや重みの公開は確認できていない。