コーディングエージェントが難しいタスクを遂行できる背景には、明示的なテキスト仕様と、実行のたびに得られる即時のフィードバックがある。テストが走り、ログが読め、間違いに気づける。しかし仕様もテストもない画像だけの問題では、この二つがそもそも成立しない。論文はこの落差を測るため、解法の仕組み・例・手がかりをすべて白黒の線画に埋め込み、仕組みを自分で発見させるところから始めるベンチマークを作った。
ベンチマークは4分類・各10問の計40問(画像は計67枚、1問1〜3枚)だ。空間操作とシミュレーション(折り・回転・投影の結果を求める)、論理制約と計画、規則帰納(例から変換規則を推測する)、知識ベースの解読(モールス符号や言葉遊びなど外部の約束事を見抜く)の4つで、各問には提出形式を示す短い指示だけが与えられる。解答は4〜30文字で、28問は英単語や句、残り12問は数字列や文字コードなど文字と順序が問われる。
評価環境は実務寄りだ。エージェントはネットワークを遮断されたサンドボックスで、1問あたり60分・2CPU・4GB RAM。画像を見たりコードを書いて実行したりはできるが、解いている間は正誤フィードバックが一切なく、仮説は画像内の手がかりと突き合わせて自分で検証するしかない。採点は最終回答の完全一致のみで、別個の決定論的検証器が判定する(モデル審判なし)。公開リポジトリは評価ハーネス(harbor 0.24.0)と40問・参照ソルバーを含み、オフライン実行前にCodex 0.163.0とClaude Code 2.1.296を導入する手順が示されている。
GPT-6 Astra(max)
- 正答率
- 26.7%
- 解答数/40問
- 10.7問
GPT-6.1 Sol(max)
- 正答率
- 21.7%
- 解答数/40問
- 8.7問
Claude Opus 5.5(xhigh)
- 正答率
- 21.7%
- 解答数/40問
- 8.7問
GPT-6 Luna(max)
- 正答率
- 0.8%
- 解答数/40問
- 0.3問
arXiv:2611.16861 HTML版Table 1(著者報告、3回平均)。GPT-6 Astra(max)の分類別は空間80.0%、論理13.3%、知識13.3%、規則帰納0.0%で、他の構成を含めても空間以外は13.3%以下。30%を超える構成はない。GPT-6 Luna(max)の0.3問は3回で1問の正解に相当。残るDeepSeek V4.1 Flash・Qwen 3.8 Max・Kimi K3.1 Proの3モデルは全構成・全3回で正解なし。Claude Sonnet 5.5の最高(max)も0.3問だった。
対象はClaude Opus 5.5、Claude Sonnet 5.5、GPT-6.1 Sol、GPT-6 Astra、GPT-6 Luna、DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Proの8モデルで、各モデルが提供する推論強度の違いを含めて29構成を作り、全構成を3回ずつ動かした(計87完走、3,480試行)。
結果は図解のとおりで、最高のGPT-6 Astra(max)でも4割に届かない。成績は二極化し、上位3モデルの最高構成が1回に8.7〜10.7問を解く一方、残り5モデルはほぼゼロで、その間がない。全3,480試行を分類別にプールすると、空間操作とシミュレーションは22.8%だが、知識ベース解読3.3%、論理制約と計画2.4%、規則帰納は0.6%(870試行中5問)まで落ちる。規則帰納の失敗軌跡には、規則を復元できず、答えの文字が主題に関連する単語になるから当てはめた例も見つかっている(著者の軌跡監査)。
空間操作・シミュレーション
- 正答率
- 22.8%
知識ベース解読
- 正答率
- 3.3%
論理制約・計画
- 正答率
- 2.4%
規則帰納
- 正答率
- 0.6%
arXiv:2611.16861本文3.2(著者報告)。規則帰納の正解は870試行中5問。論文は分類間の差が「規則の可視性」以外の多くの要因と相関すると注記しており、分類差は因果ではない。
なぜ解けないのか。論文は4分類にまたがる10問を無作為に選び、状態表現と核となる更新機構を名指すが中間状態と最終解答は明かさない「1文の仕組みヒント」を与えて、上位構成3つを各3回で比較した。
全体正答率
- ヒントなし
- 7.8%
- ヒントあり
- 55.6%
GPT-6 Astra(max)
- ヒントなし
- 13.3%
- ヒントあり
- 76.7%
GPT-6.1 Sol(max)
- ヒントなし
- 10.0%
- ヒントあり
- 73.3%
規則帰納(分類別)
- ヒントなし
- 3.7%
- ヒントあり
- 81.5%
タイムアウト数
- ヒントなし
- 51
- ヒントあり
- 18
arXiv:2611.16861 HTML版Table 2(著者報告)。ヒントは答えを明かさない1文。GPT-6 Astra(max)とGPT-6.1 Sol(max)は約10%から約75%へ上昇。最大の伸びは規則帰納の+77.8ポイント。同じ60分制限でタイムアウトは51から18に減少。弱いGPT-6 Luna(max)は0.0%→16.7%(+16.7ポイント)にとどまり、弱いモデルでは実行自体も障害になると論文は分析。
ヒントを与えると全体正答率は7.8%から55.6%に上がり(+47.8ポイント)、タイムアウトは51から18に減った。伸びが最大なのはヒントなしで最も難しかった規則帰納(3.7%→81.5%)だ。上位2モデルは約10%から約75%へ跳ね上がり、規則が分かれば残りの多段階の実行はこなせる、という読みになる。一方で弱いGPT-6 Lunaは0%から16.7%しか上がらず、弱いモデルでは規則の発見だけでなく実行自体も障害のままだ。
留意点
結果は著者報告の査読前プレプリントで、40問という小規模なベンチマークだ。1問の正否が2.5ポイント動くため、3回平均とはいえ数値のぶれは大きい。ヒント実験の10問は部分集合であり、この改善幅を全体に一般化はできない。分類の割り当ては主難易度による著者側の判断で、分類間の差は相関的な説明にとどまる(論文自身の注記)。29構成は各モデルの提供インターフェースに依存するため、推論強度の対応は均等ではない。コード・タスク一式はGitHub(Einsia/Visual-Cipher-Bench)で公開されており、リポジトリは2026年11月11日の作成で最終pushは11月13日(GitHub API)。ソフトウェアはApache 2.0、パズル内容はCC BY 4.0。各タスクのsolution/ディレクトリには解答解説が含まれるため、再現する際は注意書きどおりネタバレに留意が必要だ。
ヒントありで急に解けるという対比は、「モデルが多段階の作業を実行できないため」でも「単純な視覚認識の問題」でもなく、画像から仕組みを仮説・検証する段階が現在のエージェント設計の空白になっていることを示す測定だというのが論文の主張である。GUI操作や図面理解への転用、実務費用の評価は本論文の範囲外で、編集部の見立てとして区別する。
出典
- arXiv:2611.16861「Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning」要旨・著者15名・所属(Navers Lab・Einsia.AI・清華大学)・投稿日2026-11-12の根拠。
- 同論文HTML版(v1)ベンチマーク設計(40問・4分類・67画像・60分/2CPU/4GB・ネットワーク遮断・完全一致採点)、8モデル29構成・87完走・3,480試行、Table 1・2の全数値、失敗モード分析、カテゴリ差は相関との注記の根拠。
- プロジェクトホームページ「Visual Cipher Bench」40問・29構成・26.7%・3,480回採点の概要、Navers Lab・Einsia.AI・清華大学の表記、リーダーボードの所在。
- GitHub Einsia/Visual-Cipher-Benchタスク構成(各分類10問、tasks/配下を実数確認)、評価ハーネス(harbor 0.24.0、Codex 0.163.0・Claude Code 2.1.296の導入手順)、Apache 2.0+パズル内容CC BY 4.0(NOTICE)、solution/のネタバレ注意。作成2026-11-11・最終push 2026-11-13(GitHub API)。
出典の確認日 2026.11.16