NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Navers Lab・Einsia.AI・清華大のVisual Cipher Bench、画像だけからルールを発見するエージェント評価──8モデル29構成の最高でも26.7%、仕組みのヒントで7.8%→55.6%

Deyao Hong氏ら15名(Navers Lab・Einsia.AI・清華大学)は2026年11月12日、解法の仕組みが画像にしか書かれていない40問のパズルで、AIエージェントの長時間の視覚推論を測るベンチマーク「Visual Cipher Bench」をarXivに公開した(プレプリント、arXiv:2611.16861)。8つの最新モデル・29の推論強度構成を各3回評価した結果、最高のGPT-6 Astra(max)でも26.7%(1回平均10.7/40問)で、8モデル中5モデルは最高構成でも1%未満だった。4分類にまたがる10問で、答えを明かさない「仕組みのヒント」を1文加えると正答率は7.8%から55.6%に上がり、タイムアウトは51から18に減少。著者らは「ボトルネックは多段階の計画の実行ではなく、視覚証拠からの規則発見だ」と結論づけた。コードと40問一式はApache 2.0(パズル内容はCC BY 4.0)で公開されている。

コーディングエージェントが難しいタスクを遂行できる背景には、明示的なテキスト仕様と、実行のたびに得られる即時のフィードバックがある。テストが走り、ログが読め、間違いに気づける。しかし仕様もテストもない画像だけの問題では、この二つがそもそも成立しない。論文はこの落差を測るため、解法の仕組み・例・手がかりをすべて白黒の線画に埋め込み、仕組みを自分で発見させるところから始めるベンチマークを作った。

ベンチマークは4分類・各10問の計40問(画像は計67枚、1問1〜3枚)だ。空間操作とシミュレーション(折り・回転・投影の結果を求める)、論理制約と計画、規則帰納(例から変換規則を推測する)、知識ベースの解読(モールス符号や言葉遊びなど外部の約束事を見抜く)の4つで、各問には提出形式を示す短い指示だけが与えられる。解答は4〜30文字で、28問は英単語や句、残り12問は数字列や文字コードなど文字と順序が問われる。

評価環境は実務寄りだ。エージェントはネットワークを遮断されたサンドボックスで、1問あたり60分・2CPU・4GB RAM。画像を見たりコードを書いて実行したりはできるが、解いている間は正誤フィードバックが一切なく、仮説は画像内の手がかりと突き合わせて自分で検証するしかない。採点は最終回答の完全一致のみで、別個の決定論的検証器が判定する(モデル審判なし)。公開リポジトリは評価ハーネス(harbor 0.24.0)と40問・参照ソルバーを含み、オフライン実行前にCodex 0.163.0とClaude Code 2.1.296を導入する手順が示されている。

図解モデル別・最高構成の成績(8モデル29構成、各3回平均)
  • GPT-6 Astra(max)

    正答率
    26.7%
    解答数/40問
    10.7問
  • GPT-6.1 Sol(max)

    正答率
    21.7%
    解答数/40問
    8.7問
  • Claude Opus 5.5(xhigh)

    正答率
    21.7%
    解答数/40問
    8.7問
  • GPT-6 Luna(max)

    正答率
    0.8%
    解答数/40問
    0.3問

arXiv:2611.16861 HTML版Table 1(著者報告、3回平均)。GPT-6 Astra(max)の分類別は空間80.0%、論理13.3%、知識13.3%、規則帰納0.0%で、他の構成を含めても空間以外は13.3%以下。30%を超える構成はない。GPT-6 Luna(max)の0.3問は3回で1問の正解に相当。残るDeepSeek V4.1 Flash・Qwen 3.8 Max・Kimi K3.1 Proの3モデルは全構成・全3回で正解なし。Claude Sonnet 5.5の最高(max)も0.3問だった。

対象はClaude Opus 5.5、Claude Sonnet 5.5、GPT-6.1 Sol、GPT-6 Astra、GPT-6 Luna、DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Proの8モデルで、各モデルが提供する推論強度の違いを含めて29構成を作り、全構成を3回ずつ動かした(計87完走、3,480試行)。

結果は図解のとおりで、最高のGPT-6 Astra(max)でも4割に届かない。成績は二極化し、上位3モデルの最高構成が1回に8.7〜10.7問を解く一方、残り5モデルはほぼゼロで、その間がない。全3,480試行を分類別にプールすると、空間操作とシミュレーションは22.8%だが、知識ベース解読3.3%、論理制約と計画2.4%、規則帰納は0.6%(870試行中5問)まで落ちる。規則帰納の失敗軌跡には、規則を復元できず、答えの文字が主題に関連する単語になるから当てはめた例も見つかっている(著者の軌跡監査)。

図解全試行を分類別にプールした正答率(3,480試行)
  • 空間操作・シミュレーション

    正答率
    22.8%
  • 知識ベース解読

    正答率
    3.3%
  • 論理制約・計画

    正答率
    2.4%
  • 規則帰納

    正答率
    0.6%

arXiv:2611.16861本文3.2(著者報告)。規則帰納の正解は870試行中5問。論文は分類間の差が「規則の可視性」以外の多くの要因と相関すると注記しており、分類差は因果ではない。

なぜ解けないのか。論文は4分類にまたがる10問を無作為に選び、状態表現と核となる更新機構を名指すが中間状態と最終解答は明かさない「1文の仕組みヒント」を与えて、上位構成3つを各3回で比較した。

図解仕組みのヒントの効果(4分類から無作為抽出した10問、各3回)
  • 全体正答率

    ヒントなし
    7.8%
    ヒントあり
    55.6%
  • GPT-6 Astra(max)

    ヒントなし
    13.3%
    ヒントあり
    76.7%
  • GPT-6.1 Sol(max)

    ヒントなし
    10.0%
    ヒントあり
    73.3%
  • 規則帰納(分類別)

    ヒントなし
    3.7%
    ヒントあり
    81.5%
  • タイムアウト数

    ヒントなし
    51
    ヒントあり
    18

arXiv:2611.16861 HTML版Table 2(著者報告)。ヒントは答えを明かさない1文。GPT-6 Astra(max)とGPT-6.1 Sol(max)は約10%から約75%へ上昇。最大の伸びは規則帰納の+77.8ポイント。同じ60分制限でタイムアウトは51から18に減少。弱いGPT-6 Luna(max)は0.0%→16.7%(+16.7ポイント)にとどまり、弱いモデルでは実行自体も障害になると論文は分析。

ヒントを与えると全体正答率は7.8%から55.6%に上がり(+47.8ポイント)、タイムアウトは51から18に減った。伸びが最大なのはヒントなしで最も難しかった規則帰納(3.7%→81.5%)だ。上位2モデルは約10%から約75%へ跳ね上がり、規則が分かれば残りの多段階の実行はこなせる、という読みになる。一方で弱いGPT-6 Lunaは0%から16.7%しか上がらず、弱いモデルでは規則の発見だけでなく実行自体も障害のままだ。

留意点

結果は著者報告の査読前プレプリントで、40問という小規模なベンチマークだ。1問の正否が2.5ポイント動くため、3回平均とはいえ数値のぶれは大きい。ヒント実験の10問は部分集合であり、この改善幅を全体に一般化はできない。分類の割り当ては主難易度による著者側の判断で、分類間の差は相関的な説明にとどまる(論文自身の注記)。29構成は各モデルの提供インターフェースに依存するため、推論強度の対応は均等ではない。コード・タスク一式はGitHub(Einsia/Visual-Cipher-Bench)で公開されており、リポジトリは2026年11月11日の作成で最終pushは11月13日(GitHub API)。ソフトウェアはApache 2.0、パズル内容はCC BY 4.0。各タスクのsolution/ディレクトリには解答解説が含まれるため、再現する際は注意書きどおりネタバレに留意が必要だ。

ヒントありで急に解けるという対比は、「モデルが多段階の作業を実行できないため」でも「単純な視覚認識の問題」でもなく、画像から仕組みを仮説・検証する段階が現在のエージェント設計の空白になっていることを示す測定だというのが論文の主張である。GUI操作や図面理解への転用、実務費用の評価は本論文の範囲外で、編集部の見立てとして区別する。

出典

  1. arXiv:2611.16861「Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning」要旨・著者15名・所属(Navers Lab・Einsia.AI・清華大学)・投稿日2026-11-12の根拠。
  2. 同論文HTML版(v1)ベンチマーク設計(40問・4分類・67画像・60分/2CPU/4GB・ネットワーク遮断・完全一致採点)、8モデル29構成・87完走・3,480試行、Table 1・2の全数値、失敗モード分析、カテゴリ差は相関との注記の根拠。
  3. プロジェクトホームページ「Visual Cipher Bench」40問・29構成・26.7%・3,480回採点の概要、Navers Lab・Einsia.AI・清華大学の表記、リーダーボードの所在。
  4. GitHub Einsia/Visual-Cipher-Benchタスク構成(各分類10問、tasks/配下を実数確認)、評価ハーネス(harbor 0.24.0、Codex 0.163.0・Claude Code 2.1.296の導入手順)、Apache 2.0+パズル内容CC BY 4.0(NOTICE)、solution/のネタバレ注意。作成2026-11-11・最終push 2026-11-13(GitHub API)。

出典の確認日 2026.11.16

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む