公開は四つそろっている。論文「ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision」はarXivに2026年11月10日付で登録され(cs.CV、v1)、READMEの更新履歴は11月11日付で論文、ベンチマーク、強化学習データ、モデル重みの公開を記す。リポジトリはその2日前の11月9日に作成されており、コードはApache-2.0ライセンスだ。Hugging Faceではデータセット2件(ZoomGainBench、ZoomGain-RL-Data)とモデル2件(ZoomGain-4B、ZoomGain-9B)を配布し、いずれもゲートは設けていない。モデルのアーキテクチャはQwen3.5系で、APIのタグ実測による。
「しかしその同じモデルでも、領域を拡大すればそうした細部をしばしば認識できる。」
Yet the same models can often recognize such details once the region is zoomed in.
全体像では見えない差を問いに変える
出発点は、細かい視覚認識の教師データが作りにくいという問題だ。細部に依存する設問には、正しくて曖昧でない答案が求められ、人手での確認は手間がかかる。微細な認識自体が苦手なモデルに生成させると、正解の根拠が視覚にあるのか言語の先入見にあるのか分からなくなる。論文はこの悩みの解として、全体像と拡大像の情報の差(global-to-zoom perception gap)を教師信号に使う。
パイプラインは次の順で動く。まず複数のVLMに画像の注目領域を特定させ、拡大すべき領域を絞る。次に全体像と拡大像のキャプションの差から、拡大で初めて分かる情報を取り出して、全体像についての設問を作る。作った設問は三つの条件で検証する。拡大像では正解できること、画像なしでは答えられないこと(言語の先入見の排除)、全体像でも答えが一意に定まることだ。選択式の設問には、モデルが間違いやすい選択肢を意図的に設計して加える。人間は設問を書かず直さず、ベンチマーク用の1,000問を選ぶだけにとどめる。
- 01 領域特定
複数モデルで特定
複数のVLMに注目領域を特定させ、拡大する領域を絞る。
- 02 差の抽出
全体と拡大の比較
全体像と拡大像のキャプションの差から、拡大で初めて分かる情報を取り出す。
- 03 設問生成
全体像のQA
全体像についての設問と選択肢を作り、誤りやすい選択肢を設計する。
- 04 検証
拡大像で照合
拡大像で正解できること、画像なしでは答えられないこと、答えが一意であることを確認する。
- 05 人手
選定のみ
2人のレビュアーが編集なしでベンチマーク用の1,000問を選ぶ。
論文Fig.1とSec.3の説明に基づく。検証条件の細部(曖昧性の排除、画像なし推論の排除)は論文要旨とSec.3の記述。
ZoomGainBenchは28モデルの最高が61.08
ベンチマークZoomGainBenchは、941画像に1,000問だ。内訳は属性認識472問、計数94問、OCR 434問で、属性は4〜6択、計数とOCRは自由記述。各設問に英語と中国語があり、評価インスタンスは合計2,000になる。設問には参照答案と採点規則、根拠領域を示すピクセル座標のcrop boxが付く。28種のVLM(プロプライエタリの最新モデル、推論強化型、オープンソースの汎用モデルを含む)を評価した結果、最高スコアは61.08で、50を超えたのは5モデルだけだったと論文は報告する。誤答の分析では、選択式の設問でモデルが特定の種類の選択肢に引きずられる傾向が見えたという。61.08を記録したモデル名は、PDFからの表抽出が崩れるため今回の取材では特定していない。
9,000件のRLデータで細部認識が伸びる(著者報告)
学習データは9,000件で、由来画像は7,713枚だ。画像に対応した8,746件の問答ペアに、両側でランダムに選んだ254件の重複を加えて9,000件にしたと論文は説明する。学習はベースモデルにQwen3.5-4BとQwen3.5-9Bを選び、GRPOによる強化学習をバッチ64、設問あたり8ロールアウトで実施した。比較には、同じ画像を使い質問だけを別の手法で作った対照群(ZwZ)の9,000件を用意し、質問構成の差だけを測れる実験にしている。
結果は、ZoomGain-9Bが内包評価のZoomGainBenchでベースの32.13%から55.48%に伸び(ZwZ対比は44.07%)、外部ベンチマークのHR-Bench 4Kで82.13%から90.25%に伸びた(ZwZ対比は85.50%)。ZoomGainBenchを除く13の外部ベンチマークの平均も58.52%から63.31%に上がり、ZwZの61.70%を上回った。14のベンチマークすべてでZoomGain学習がZwZ学習を上回り、訓練セットの違いが質問の作り方だけであることから、利得はZoomGainの質問構成に帰属できると論文は述べる。90.25という数値は要旨でSoTA(当時の最高)として位置づけられている。
ZoomGainBench(内包)
- ベース
- 32.13%
- ZoomGain 9K
- 55.48%
HR-Bench 4K
- ベース
- 82.13%
- ZoomGain 9K
- 90.25%
外部13ベンチ平均
- ベース
- 58.52%
- ZoomGain 9K
- 63.31%
Qwen3.5-9BにGRPOで9,000件を学習した結果(論文Table 3)。外部13ベンチ平均はZoomGainBenchを除く13の評価セットの平均(同一パイプライン由来の内包評価を除外するという論文の説明による)。同じ画像で別の質問を使ったZwZ 9Kとの比較では3指標すべてでZoomGainが上回る(55.48対44.07、90.25対85.50、63.31対61.70)。数値は著者の実験結果で、第三者による再現はまだない。
公開物と確認すべき点
リポジトリはパイプラインのコード、ベンチマークの実行手順、採点コードを含む。READMEはコードをApache-2.0としつつ、同梱する学習フレームワークは上流ライセンスを引き継ぐと注記し、データセットとチェックポイントの条件はHugging Faceのカードを確認するよう促す。データと重みの個別ライセンス条項は今回の取材では読んでおらず、商用利用の可否は各カードの確認が残る。
評価の読み方には注意がいる。ZoomGainBenchはZoomGainと同じパイプライン系統で作られており、論文自身が外部テストとの区別に配慮して13ベンチ平均から外している。内包評価の伸び(32.13%から55.48%)は学習データへの近さを反映する。数値はすべて著者の実験結果で、一般のチャット性能や実運用での安全性はこの論文の測定範囲にない。
出典
- ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision(arXiv:2611.14076、PDF全文)提出 2026-11-10。著者と所属、要旨、ZoomGainBenchの構成(Sec.4)、パイプライン(Fig.1/Sec.3)、強化学習の設定とTable 3(Sec.6)。確認日 2026-11-11
- inclusionAI/ZoomGain(GitHubリポジトリ)README全文、更新履歴(2026-11-11公開)、ライセンス注記、データ数(9,000件/7,713枚)。リポジトリ作成 2026-11-09(GitHub API実測)。確認日 2026-11-11
- inclusionAI/ZoomGainBench(Hugging Faceデータセット)作成 2026-11-10(API実測)、ゲートなし。確認日 2026-11-11
- inclusionAI/ZoomGain-RL-Data(Hugging Faceデータセット)作成 2026-11-10(API実測)、ゲートなし。確認日 2026-11-11
- inclusionAI/ZoomGain-4B・ZoomGain-9B(Hugging Faceモデル)lastModified 2026-11-11、Qwen3.5系アーキテクチャ、ゲートなし(API実測)。確認日 2026-11-11
- inclusionAI(GitHub組織プロフィール)bio「open-source projects from Ant Group」。確認日 2026-11-11
出典の確認日 2026.11.11