Transformerをはじめとする標準的なニューラルネットの構造は、勾配降下で学習しやすくGPUで速く動くように選ばれてきた。論文の着想は、学習をせずLLMが重みを手で書く「weight-space programming」では、その理由が成り立たなくなる、という点にある。アーキテクチャを固定して重みだけ書かせるのではなく、構造自体をLLMに選ばせたら何が生まれるかを問うている。
「Weight-space programmingでは、大規模言語モデル(LLM)が勾配ベースの学習なしに、重みを手で書く。だから(Transformerを選んだ)理由はもう成り立たない。」
In weight-space programming, a large language model (LLM) writes target weights by hand without gradient-based training, so those reasons no longer apply.
実験の設計──重みを書くか、構造を選ぶか
実験では、3つのフロンティアLLM(Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra)に、10件のラベル付き例とサンドボックス環境、最小限の指示を与える。条件は2つで、1つは固定されたアーキテクチャの重みを記述させる条件、もう1つはアーキテクチャ自体を設計させる条件だ。評価はARC(AI2の選択式データセット)のテスト3,530問で、偶然にあたる正答率は25%。リポジトリの説明では、書かれた重みはテキストファイルとして保存され、固定の手続きがテーブルを参照して答えを出す構成になる。
- 01 入力
10件のラベル付き例+サンドボックス
最小限の指示とともにLLM(ライター)に与える
- 02 記述
アーキテクチャと重みをテキストで記述
固定構造の重みを書く条件と、構造自体を設計する条件を比較
- 03 実行
固定手続きがテーブルを参照して回答
3モデルとも疎なテーブル+固定検索手続きを選んだ
- 04 採点
ARCテスト3,530問
最大54.4%(偶然25%)。同一LLM記述の最良公開Transformerを約1,800分の1のパラメータで上回る
arXiv:2611.22055v1のabstractとeffl-lab/Weight-Space-ProgrammingのREADME(2026-11-18確認)から作成。54.4%と1,800分の1は著者の測定値で、第三者による再現は含まれない。
3モデルが選んだのは疎なテーブル
設計を任せた3モデルすべてが、書いた事実を疎なテーブルに置き、固定の手続きでそれを読む構成を選んだ。テーブルの行の分け方には違いが出た。リポジトリの説明によると、Claude Opus 5.5はキーと値を兼ねる1文を行に使い、GPT-6.1 Solは手がかり側と答え側に分割し、GPT-6 Astraは支持する答えと否定する答えの対で行を作った。テーブルでは重みの1行1行に意味が書けるため、答えがどの行に根ざすかを追え、行を削ると他の答えへの影響が小さい、と論文は説明する。
精度では、ARCテストでLLM設計条件の最終世代が最大54.4%(Claude Opus 5.5)に達し、同じLLMが記述した公開アーキテクチャの最良値43.1%を上回った。パラメータ数は約1,800分の1という著者報告だ。著者らの提案する連想記憶型の構成では、書いた事実をペアのテーブルに折りたたみ、質問ごとに固定数の行を読む。この構成は、同じLLMが書いた最良の公開アーキテクチャより約680分の1の大きさで、同サイズのTransformerと比べGPU上で最大17倍速く答えられたと報告されている。
Claude Opus 5.5
- 記述済み公開構造
- 43.1%
- LLM設計
- 54.4%
- 連想記憶
- 52.4%
GPT-6.1 Sol
- 記述済み公開構造
- 35.0%
- LLM設計
- 47.4%
- 連想記憶
- 45.6%
GPT-6 Astra
- 記述済み公開構造
- 34.4%
- LLM設計
- 46.2%
- 連想記憶
- 47.4%
effl-lab/Weight-Space-ProgrammingのREADME結果表(2026-11-18確認)から作成。記述済み公開構造は各ライターが記述した公開アーキテクチャのうち最良、LLM設計と連想記憶は各系統の最終世代の値。1,800分の1の比較はLLM設計の系統、約680分の1と最大17倍の高速化は連想記憶の構成についての著者報告。
公開物と限界
リポジトリ(MITライセンス)には、3ライターが作った56モデルのテキストファイル(計68MB)、実行ハーネス、プロンプトの原文、勾配降下のベースライン、テストが公開されている。その一方で、READMEは測定・分析・描画コードの大半が含まれないと明記しており、例外はBM25比較を再実行するbm25.pyだけだ。大型の編集済みチェックポイント(100M〜2.6Bパラメータ)はサイズの理由で含まれない。論文は査読前のプレプリント(work in progress)で、54.4%はARC選択式という限られた評価での値であり、汎用的な言語生成や大規模推論の能力を示すものではない。17倍の高速化も、同サイズのTransformerとの特定のGPU実験での値だ。事前学習済みモデルの置き換えや勾配学習全般の不要を示した結果ではない、と読むのが妥当だ。
出典
- arXiv:2611.22055「Weight-Space Programming Doesn't Need Transformers」abstract(2026-11-17投稿、2026-11-18本文確認)WSPの定義(LLMが勾配学習なしで重みを手で書く)、3フロンティアLLM×2条件の実験設計、疎なテーブルの選択、最大54.4%の原典
- GitHub effl-lab/Weight-Space-Programming README(MIT、2026-11-18確認)ARC 3,530問・偶然25%の結果表(3ライター×3構成)、約1,800分の1のパラメータ・約680分の1・最大17倍のGPU高速化、56モデル68MBの公開物、測定・分析コードと大型チェックポイント非公開の明記
出典の確認日 2026.11.18