THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
すべてのニュース
1件新しい順
Navers Lab・Einsia.AI・清華大のVisual Cipher Bench、画像だけからルールを発見するエージェント評価──8モデル29構成の最高でも26.7%、仕組みのヒントで7.8%→55.6%
Deyao Hong氏ら15名(Navers Lab・Einsia.AI・清華大学)は2026年11月12日、解法の仕組みが画像にしか書かれていない40問のパズルで、AIエージェントの長時間の視覚推論を測るベンチマーク「Visual Cipher Bench」をarXivに公開した(プレプリント、arXiv:2611.16861)。8つの最新モデル・29の推論強度構成を各3回評価した結果、最高のGPT-6 Astra(max)でも26.7%(1回平均10.7/40問)で、8モデル中5モデルは最高構成でも1%未満だった。4分類にまたがる10問で、答えを明かさない「仕組みのヒント」を1文加えると正答率は7.8%から55.6%に上がり、タイムアウトは51から18に減少。著者らは「ボトルネックは多段階の計画の実行ではなく、視覚証拠からの規則発見だ」と結論づけた。コードと40問一式はApache 2.0(パズル内容はCC BY 4.0)で公開されている。