NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Ant Group系のinclusionAIがZoomGainを公開 拡大すると初めて分かる視覚情報からQAデータを作り、ベンチマークと9,000件のRLデータ、4B/9Bモデルを一式公開(著者報告)

Ant Groupのオープンソース組織inclusionAIは2026年11月11日、画像を拡大すると初めて確認できる視覚情報から問答データを作る手法ZoomGainの論文、評価用ベンチマーク、強化学習用データ、モデル重みを公開した。GitHub組織のプロフィールはinclusionAIをAnt Groupのオープンソースプロジェクト群と説明し、論文の筆頭著者はAnt Groupと浙江大学の所属表記だ。ZoomGainBenchは941画像に1,000問(英語・中国語)で構成し、評価した28の視覚言語モデルの最高スコアは61.08にとどまった。このパイプラインで作った9,000件のデータでQwen3.5-9Bを強化学習すると、HR-Bench 4Kのスコアが82.13から90.25になったと著者は報告する。数値はいずれも著者の実験結果で、独立した再現はまだない。

公開は四つそろっている。論文「ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision」はarXivに2026年11月10日付で登録され(cs.CV、v1)、READMEの更新履歴は11月11日付で論文、ベンチマーク、強化学習データ、モデル重みの公開を記す。リポジトリはその2日前の11月9日に作成されており、コードはApache-2.0ライセンスだ。Hugging Faceではデータセット2件(ZoomGainBench、ZoomGain-RL-Data)とモデル2件(ZoomGain-4B、ZoomGain-9B)を配布し、いずれもゲートは設けていない。モデルのアーキテクチャはQwen3.5系で、APIのタグ実測による。

「しかしその同じモデルでも、領域を拡大すればそうした細部をしばしば認識できる。」

Yet the same models can often recognize such details once the region is zoomed in.

論文要旨、arXiv:2611.14076、2026年11月10日提出

全体像では見えない差を問いに変える

出発点は、細かい視覚認識の教師データが作りにくいという問題だ。細部に依存する設問には、正しくて曖昧でない答案が求められ、人手での確認は手間がかかる。微細な認識自体が苦手なモデルに生成させると、正解の根拠が視覚にあるのか言語の先入見にあるのか分からなくなる。論文はこの悩みの解として、全体像と拡大像の情報の差(global-to-zoom perception gap)を教師信号に使う。

パイプラインは次の順で動く。まず複数のVLMに画像の注目領域を特定させ、拡大すべき領域を絞る。次に全体像と拡大像のキャプションの差から、拡大で初めて分かる情報を取り出して、全体像についての設問を作る。作った設問は三つの条件で検証する。拡大像では正解できること、画像なしでは答えられないこと(言語の先入見の排除)、全体像でも答えが一意に定まることだ。選択式の設問には、モデルが間違いやすい選択肢を意図的に設計して加える。人間は設問を書かず直さず、ベンチマーク用の1,000問を選ぶだけにとどめる。

図解ZoomGainのデータ構築パイプライン(論文Fig.1とSec.3に基づく)
  1. 01 領域特定

    複数モデルで特定

    複数のVLMに注目領域を特定させ、拡大する領域を絞る。

  2. 02 差の抽出

    全体と拡大の比較

    全体像と拡大像のキャプションの差から、拡大で初めて分かる情報を取り出す。

  3. 03 設問生成

    全体像のQA

    全体像についての設問と選択肢を作り、誤りやすい選択肢を設計する。

  4. 04 検証

    拡大像で照合

    拡大像で正解できること、画像なしでは答えられないこと、答えが一意であることを確認する。

  5. 05 人手

    選定のみ

    2人のレビュアーが編集なしでベンチマーク用の1,000問を選ぶ。

論文Fig.1とSec.3の説明に基づく。検証条件の細部(曖昧性の排除、画像なし推論の排除)は論文要旨とSec.3の記述。

ZoomGainBenchは28モデルの最高が61.08

ベンチマークZoomGainBenchは、941画像に1,000問だ。内訳は属性認識472問、計数94問、OCR 434問で、属性は4〜6択、計数とOCRは自由記述。各設問に英語と中国語があり、評価インスタンスは合計2,000になる。設問には参照答案と採点規則、根拠領域を示すピクセル座標のcrop boxが付く。28種のVLM(プロプライエタリの最新モデル、推論強化型、オープンソースの汎用モデルを含む)を評価した結果、最高スコアは61.08で、50を超えたのは5モデルだけだったと論文は報告する。誤答の分析では、選択式の設問でモデルが特定の種類の選択肢に引きずられる傾向が見えたという。61.08を記録したモデル名は、PDFからの表抽出が崩れるため今回の取材では特定していない。

9,000件のRLデータで細部認識が伸びる(著者報告)

学習データは9,000件で、由来画像は7,713枚だ。画像に対応した8,746件の問答ペアに、両側でランダムに選んだ254件の重複を加えて9,000件にしたと論文は説明する。学習はベースモデルにQwen3.5-4BとQwen3.5-9Bを選び、GRPOによる強化学習をバッチ64、設問あたり8ロールアウトで実施した。比較には、同じ画像を使い質問だけを別の手法で作った対照群(ZwZ)の9,000件を用意し、質問構成の差だけを測れる実験にしている。

結果は、ZoomGain-9Bが内包評価のZoomGainBenchでベースの32.13%から55.48%に伸び(ZwZ対比は44.07%)、外部ベンチマークのHR-Bench 4Kで82.13%から90.25%に伸びた(ZwZ対比は85.50%)。ZoomGainBenchを除く13の外部ベンチマークの平均も58.52%から63.31%に上がり、ZwZの61.70%を上回った。14のベンチマークすべてでZoomGain学習がZwZ学習を上回り、訓練セットの違いが質問の作り方だけであることから、利得はZoomGainの質問構成に帰属できると論文は述べる。90.25という数値は要旨でSoTA(当時の最高)として位置づけられている。

図解強化学習の結果(論文Table 3、著者報告)
  • ZoomGainBench(内包)

    ベース
    32.13%
    ZoomGain 9K
    55.48%
  • HR-Bench 4K

    ベース
    82.13%
    ZoomGain 9K
    90.25%
  • 外部13ベンチ平均

    ベース
    58.52%
    ZoomGain 9K
    63.31%

Qwen3.5-9BにGRPOで9,000件を学習した結果(論文Table 3)。外部13ベンチ平均はZoomGainBenchを除く13の評価セットの平均(同一パイプライン由来の内包評価を除外するという論文の説明による)。同じ画像で別の質問を使ったZwZ 9Kとの比較では3指標すべてでZoomGainが上回る(55.48対44.07、90.25対85.50、63.31対61.70)。数値は著者の実験結果で、第三者による再現はまだない。

公開物と確認すべき点

リポジトリはパイプラインのコード、ベンチマークの実行手順、採点コードを含む。READMEはコードをApache-2.0としつつ、同梱する学習フレームワークは上流ライセンスを引き継ぐと注記し、データセットとチェックポイントの条件はHugging Faceのカードを確認するよう促す。データと重みの個別ライセンス条項は今回の取材では読んでおらず、商用利用の可否は各カードの確認が残る。

評価の読み方には注意がいる。ZoomGainBenchはZoomGainと同じパイプライン系統で作られており、論文自身が外部テストとの区別に配慮して13ベンチ平均から外している。内包評価の伸び(32.13%から55.48%)は学習データへの近さを反映する。数値はすべて著者の実験結果で、一般のチャット性能や実運用での安全性はこの論文の測定範囲にない。

出典

  1. ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision(arXiv:2611.14076、PDF全文)提出 2026-11-10。著者と所属、要旨、ZoomGainBenchの構成(Sec.4)、パイプライン(Fig.1/Sec.3)、強化学習の設定とTable 3(Sec.6)。確認日 2026-11-11
  2. inclusionAI/ZoomGain(GitHubリポジトリ)README全文、更新履歴(2026-11-11公開)、ライセンス注記、データ数(9,000件/7,713枚)。リポジトリ作成 2026-11-09(GitHub API実測)。確認日 2026-11-11
  3. inclusionAI/ZoomGainBench(Hugging Faceデータセット)作成 2026-11-10(API実測)、ゲートなし。確認日 2026-11-11
  4. inclusionAI/ZoomGain-RL-Data(Hugging Faceデータセット)作成 2026-11-10(API実測)、ゲートなし。確認日 2026-11-11
  5. inclusionAI/ZoomGain-4B・ZoomGain-9B(Hugging Faceモデル)lastModified 2026-11-11、Qwen3.5系アーキテクチャ、ゲートなし(API実測)。確認日 2026-11-11
  6. inclusionAI(GitHub組織プロフィール)bio「open-source projects from Ant Group」。確認日 2026-11-11

出典の確認日 2026.11.11

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む