2026年11月2日、MIT CSAILのRikiya Takehi氏、Jayden Teoh氏、Alex Zhang氏、Omar Khattab氏はWeight-Space Programming(WSP)を公開した。生の重みを読めるGPT-6 Astraエージェントに、推論ループに陥る小型モデルQwen3.5-0.8Bの重みを渡し、層15と19のMLP出力射影の64列ずつ(計13万1,072個の重みの書き換え)を修正させると、MATH-500が7.9%から48.1%に上がったという(ブログ公表値、独自のサンプリング設定)。ベースモデルのループはMATH-500の93%で3万2,768トークンの上限まで繰り返しが続くほど深刻だった。Tree-Ising論文は、このエージェント実行が158ターン・8,970万トークン・forward pass 50回・計算15.6時間・1回あたり約312ドルだったと記述し、同じ修復をもっと安い計算で再現できるかを問い直した。
「必要なのは4回のforward-pass要求とLLMトークンゼロだけで、焼きなましレシピのGPU時間は約0.90ドルで済む。」
It requires only four forward-pass requests and zero LLM tokens, with the annealing recipe costing approximately $0.90 in GPU time.
仕組み――ビット水準の許容編集に絞り、出力行ごとのQUBOに厳密分解する
Tree-Isingは、モデル自身のBF16重みの上で疎な離散最適化として修復を組み立てる。ベースモデルのforward統計から、ループ方向を弱め、結論方向を強め、生産的なトークンでは層の出力を保持する目的関数を定義する。許容する編集は、共有グループの指数と仮数をすべて保存する符号反転と指数シフトだけだ(共有指数・仮数の書き込みは設計上ゼロ)。この目的関数を出力行ごとの独立したQUBO(Ising)問題へ厳密分解し、対象2層で計2,048個の行問題を、GPU上の焼きなまし(SA)またはquantum-inspired simulated bifurcation(SB)で解く。状態木表現では損失なしのBF16保存が特殊例になるため、編集の差分監査が容易になる設計だ。
- 01 統計収集
forward pass 4回
ベースモデルのforward統計からループ方向と結論方向を特定し、生産的トークンの層出力を記録する。LLMトークンは使わない。
- 02 目的関数
ループ方向を弱める
ループ方向を弱め、結論方向を強め、生産的トークンでの層出力を保持する3項の目的を定義する。
- 03 QUBO分解
行ごとに独立
目的関数を出力行ごとの独立QUBO(Ising)問題へ厳密分解する。対象2層で計2,048個の行問題。
- 04 ソルバー
GPUでSAまたはSB
焼きなましまたはsimulated bifurcationでGPU上に解く。実行は31分。
- 05 BF16編集
符号反転と指数シフト
共有グループ指数と仮数を保存する編集だけを重みに適用。共有指数・仮数の書き込みはゼロ。
- 06 評価
編集済みチェックポイント
エージェント編集と同一プロトコルで5つの数学ベンチマークを再測定し、比較する。
arXiv:2611.14210(2026-11-10公開v1)の2節とFigure 1に基づく。4回のforward pass・トークンゼロ・約0.90ドル・31分は要旨と1節の記述。行問題数2,048はFigure 1の表示。
結果――5つの数学ベンチマークすべてでエージェント編集を上回る
エージェントが対象とした2層への適用で、Tree-Isingの焼きなましはMATH-500@4(問題あたり4 completionsの平均)で54.6%、simulated bifurcationは55.1%になり、同一評価プロトコルで再測定したエージェント編集の51.7%を上回った(ベースモデルは7.9%)。5つの数学ベンチマーク(MATH-500、GSM8K、AMC23、Minerva Math、OlympiadBench)のすべてで両ソルバーがエージェント編集を上回り、多重比較の補正後もMATH-500とGSM8Kで統計的に有意だったと報告している。変更した重みはエージェントの13万188個に対しSAで11万2,630個(13%減)、SBで10万8,327個(17%減)、BF16のビット反転は62万1,388から27万8,767へ2.2倍減った(論文は2.2〜2.3倍と記載)。修復はループの解消であって、一般的な数学能力を獲得した証拠ではない。
ベースモデル
- MATH-500
- 7.9%
- GSM8K
- —
- AMC23
- —
- Minerva
- —
- Olympiad
- —
- 変更重み数
- —
エージェント編集WSP・Astra
- MATH-500
- 51.7%
- GSM8K
- 65.6%
- AMC23
- 22.0%
- Minerva
- 24.2%
- Olympiad
- 21.4%
- 変更重み数
- 130,188
Tree-Ising SA焼きなまし
- MATH-500
- 54.6%
- GSM8K
- 70.5%
- AMC23
- 22.7%
- Minerva
- 26.1%
- Olympiad
- 24.3%
- 変更重み数
- 112,630
Tree-Ising SB分岐法
- MATH-500
- 55.1%
- GSM8K
- 70.8%
- AMC23
- 25.0%
- Minerva
- 25.6%
- Olympiad
- 24.0%
- 変更重み数
- 108,327
arXiv:2611.14210(2026-11-10公開v1)とコードリポジトリ付属の参照値(一致を確認)。測定はMATH-500@4、GSM8K@1、AMC23@16、Minerva@4、OlympiadBench@1(@kは問題あたりk completionsの平均)。ベースモデルの7.9%はMATH-500のみ論文に記載。エージェント編集51.7%はTree-Ising著者が同一プロトコルで再測定した値で、WSPブログ公表値は48.1%。すべて著者測定値。
費用と転用――31分・約0.9ドル、2BではGSM8K 21.6%から69.4%へ
費用は、エージェント実行の約312ドル・15.6時間に対し、Tree-Isingの焼きなましレシピは31分・GPU時間約0.90ドルで、論文は約350分の1と記す。forward passは4回でLLMトークンはゼロだ。約0.90ドルはこの実験のGPU時間で、問題の選定や評価を含む総運用費ではない。層とdoseをベースモデルのみを使って選んだQwen3.5-2Bへの転用では、greedy GSM8Kが21.6%から69.4%に上昇したという。概念実証として、8変数の修復サブ問題をIBM Heronの量子プロセッサでQAOAにより実行したと報告するが、大規模な量子優位性の実証ではなく、公開コードに含まれるのは古典的なSA/SBパイプラインだ。コードは2026年11月10日にGitHub(TheQuantumGOAT/Tree-Ising、v0.2.0)で公開され、SA/SBソルバーと再現設定、チェックサム付きの入力準備を含み、付属の参照値は論文表と一致した。ただしライセンス表記は確認できず、第三者による独立再現は2026年11月13日時点でまだない。数値は著者の実験条件(A100 40GB、指定されたチェックポイントrevision)での結果で、プレプリントであり査読済みではない。
出典
- arXiv:2611.14210「Tree-Ising: Repairing Language Models with Bit-Level Ising Edits」(要旨ページ)2026-11-10 15:32 UTC公開v1(arXiv要旨ページで確認)、著者2名(Hadi Salloum、Ammar Ali)、cs.LG。要旨の主張(158ターン・8,970万トークン・50 forward passのWSPエージェント実行、BF16上の符号反転と指数シフト、出力行ごとのQUBOへの厳密分解、MATH-500 54.6%対エージェント51.7%・ベース7.9%、SB 55.1%、変更重み13〜17%減・BF16ビット反転2.2〜2.3倍減、4 forward pass・トークンゼロ・約0.90ドル、2BのGSM8K 21.6%→69.4%、IBM Heronでの8変数QAOA)。2026-11-13に要旨を全文確認。
- arXiv:2611.14210 論文HTML版(v1)2026-11-13に全文取得。1節の背景(93%が32,768トークン上限に到達、層15/19の64列・131,072重みのdense rewrite、15.6時間・$312 per edit、31分・約$0.90・約350倍安価・30倍高速)、Figure 1(2,048 row QUBOs)、Table(変更重み130,188→112,630、BF16 bit flips 621,388→278,767、共有指数書込1,261→0、仮数書込129,668→0)、多重比較補正後の有意性(MATH-500・GSM8K)、SBの55.1%と4%少ない変更重み。
- WSPプロジェクトページ「Sparks of Weight-Space Programming」(Takehi、Teoh、Zhang、Khattab/MIT CSAIL)2026-11-02公開(2026-11-13に全文取得)。GPT-6 AstraによるQwen3.5-0.8Bの重み編集(層15/19のMLP出力射影64列ずつ・131,072重み、forward pass 50回)、MATH-500 7.9%→48.1%(ブログのサンプリング設定)、モデルカードのループ警告、練習問題96件中85件が上限到達。
- GitHub TheQuantumGOAT/Tree-Ising(コード公開)2026-11-13にraw READMEとGitHub APIで確認(作成2026-11-10、最終push 2026-11-11、v0.2.0)。SA/SB・連続baseline・評価・実験ループの実装、configs/qwen35_0.8b.yaml・qwen35_2b.yaml・repair_loop.yaml、MD5チェックサムとピン留めrevision(Qwen3.5-0.8B/2B、エージェントチェックポイントRikiyaT/Qwen3.5-0.8B-weight-space-programming)、参照結果表(論文値と一致:51.7/54.6/55.1ほか)、A100 40GBの報告、量子概念実証はコード外。ライセンスファイルはGitHub APIでも検出されず。
- arXiv:2611.09382「Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations」2026-11-13に要旨ページで確認。WSPの系統的調査(16編集軌跡×7ベンチマーク×Qwen3.5-0.8Bと9B)。Tree-Ising論文が参照するWSPの独立検証研究として背景で言及。
出典の確認日 2026.11.13