コーディングエージェントのソフトウェア開発での能力に比べ、物理的な制約に支配される長時間の工学タスクへの適性はまだよく分かっていない。アナログ回路のレイアウト設計はその典型で、ドメイン知識、幾何の推論、設計ツールと検証ツールの反復的な往復が必要になる。既存のアナログ設計自動化研究(ALIGN、MAGICAL、GLayoutなど)が自動化手法そのものを主題にするのに対し、このベンチマークは汎用のコーディングエージェントが自由にツールを使いながら物理制約を満たす成果を出せるかを問う。
「試行の91.1%はGDSレイアウトを生成するが、受理基準を満たすのは21.3%にとどまる。」
91.1% of attempts produce GDS layouts, but only 21.3% satisfy the benchmark's acceptance criteria.
課題は専門家のレビューを受けた固定のSKY130トランジスタレベル回路網リストと電気仕様、実行可能な検証手順のセットで、電源管理回路、サンプリング回路、発振器などを含む40課題だ。エージェントには設計環境(レイアウト生成のgdsfactory、編集とDRC・LVSのKLayout、寄生抽出のMagic、回路シミュレーションのngspice)が与えられ、1試行3時間の壁時計予算でレイアウトの生成・デバッグ・自己検査を行い、GDS形式で提出する。採点は設計を実行したエージェントとは独立の工程で行い、幾何ルール(DRC)、回路対応(LVS)、寄生成分を含んだ電気シミュレーション、さらに面積や品質の客観指標を検査する。証拠のない項目は合格とみなさない下限スコア方式だ。
- 01 入力
固定ネットリスト+仕様
SKY130のトランジスタレベル回路、電気仕様、検証手順が与えられる。
- 02 設計
3時間の制限
エージェントはgdsfactoryなどでレイアウトを生成・修正し、GDSで提出する。
- 03 物理検証
DRC・LVS
KLayoutとMagicが幾何ルールと抽出回路の対応を独立に検査する。
- 04 電気検証
寄生抽出+ngspice
Magicで寄生成分を抽出し、ngspiceが仕様への適合をシミュレーションする。
- 05 採点
品質指標+受理基準
面積・品質の客観指標と全条件の合格で採点する。
40課題は専門家レビュー済み。各課題を3試行ずつ実行し、1試行に3時間の壁時計予算。13のモデル・ハーネス構成に加え、開発元の専用システムNovara(自社クラスタにSGLangで配備)を評価した。
Novara(専用)
- DRC
- 97.5%
- LVS
- 100.0%
- シミュ
- 75.0%
- 全条件合格
- 72.5%
- 平均スコア
- 0.8154
GPT-6 Astra+Codex
- DRC
- 99.2%
- LVS
- 98.3%
- シミュ
- 82.5%
- 全条件合格
- 70.8%
- 平均スコア
- 0.7483
GPT-6.1 Sol+Codex
- DRC
- 92.5%
- LVS
- 91.7%
- シミュ
- 80.0%
- 全条件合格
- 62.5%
- 平均スコア
- 0.7023
GLM-5.3+OpenCode
- DRC
- 80.0%
- LVS
- 69.2%
- シミュ
- 42.5%
- 全条件合格
- 35.0%
- 平均スコア
- 0.4779
arXiv HTML版の主結果表(全条件合格=Acceptance列、平均スコアは40課題の総点平均)。試行全体ではGDS生成91.1%、全条件合格21.3%。平均ツール呼び出しはAstra 111.8回(記録トークン11.2M)、GLM-5.3+OpenCode 264.8回(34.5M)。Novaraの呼び出し数・トークン数は表で未記載。モデルの動作環境やハーネスが異なるためモデル単体の比較には使えない。
結果の構図は「コードは書けるが、物理と電気の合格は難しい」だ。試行の91.1%はGDSレイアウトという成果物を生成したが、DRC・LVS・シミュレーション・面積・品質の全受理基準を満たしたのは21.3%だった。上位は開発元がアナログレイアウト専用に作ったNovara(全条件合格72.5%、平均スコア0.8154)と、CodexハーネスのGPT-6 Astra(70.8%、0.7483)で、GPT系は物理・電気検証の合格率がほかの汎用構成より大幅に高い。GLM-5.3+OpenCodeは35.0%で、平均264.8回のツール呼び出しと34.5Mの記録トークンを消費しながらAstraより低い合格率だった(111.8回・11.2M)。GLM-5.3 Flashは120試行のうち51回で時間制限に達し、Astraは1回も達しなかった。
読む際の留保がいくつかある。プレプリントで、ベンチマークリポジトリはHTML版の脚注に「近日中にオープンソース化する」とあり、確認時点では公開されていないため第三者検証はまだできない。全条件合格率は要旨とHTML本文のどちらも21.3%で一致するが、問題の要旨では異なる値が報じられていた経緯があり、確定値の扱いには注意が必要だった(後述の取材メモ)。課題は固定ネットリストの物理実装に限定され、回路トポロジーの設計や製造後の実測検証は対象外だ。モデルは動作環境・ハーネスが異なり、モデル単体の性能比較とは読めない。
出典
- arXiv:2611.16991 AnalogLayoutWorld: An Open Benchmark for Agentic Analog Layout Design要旨。40課題・13構成、GDS生成91.1%、全条件合格21.3%、Novaraが最高得点(2026-11-12投稿、Nova-Silicon Team)
- arXiv HTML版(v1)主結果表(DRC/LVS/SIM/Acceptance/スコア/ツール呼び出し/トークン)、SKY130とgdsfactory・KLayout・Magic・ngspiceのツールチェーン、3時間×3試行、リポジトリ未公開の脚注、GLM-5.3 Flashの時間制限51/120
出典の確認日 2026.11.15