NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

LLMの重み修復をQUBOに置いたTree-Ising――MATH-500でエージェント編集の51.7%を54.6%に上回り、GPU時間は312ドルから約0.9ドルへ

Hadi Salloum氏とAmmar Ali氏の2名は2026年11月10日、強力なLLMエージェントが直接書き込んだモデル重みの修復を、BF16重み上の離散最適化問題(QUBO/Ising)として解き直すTree-Isingを発表した(arXiv:2611.14210、査読前)。対象は、MIT CSAILのTakehi氏らのWeight-Space Programming研究(2026年11月2日公開)でGPT-6 AstraエージェントがQwen3.5-0.8Bの推論ループを修復した2層で、forward統計から目的関数を作り出力行ごとの独立QUBOに厳密分解し、GPU上の焼きなましまたはsimulated bifurcationで解く。MATH-500はエージェント編集51.7%に対しTree-Ising 54.6%(分岐版55.1%)、変更重みは13〜17%少なく、費用はエージェント実行の約312ドルに対しGPU時間約0.90ドルと著者らは報告する。Qwen3.5-2Bへの転用ではgreedy GSM8Kが21.6%から69.4%に上昇したという。コードはGitHubで公開されているが、ライセンス表記は確認できず、第三者による独立検証はまだない。

2026年11月2日、MIT CSAILのRikiya Takehi氏、Jayden Teoh氏、Alex Zhang氏、Omar Khattab氏はWeight-Space Programming(WSP)を公開した。生の重みを読めるGPT-6 Astraエージェントに、推論ループに陥る小型モデルQwen3.5-0.8Bの重みを渡し、層15と19のMLP出力射影の64列ずつ(計13万1,072個の重みの書き換え)を修正させると、MATH-500が7.9%から48.1%に上がったという(ブログ公表値、独自のサンプリング設定)。ベースモデルのループはMATH-500の93%で3万2,768トークンの上限まで繰り返しが続くほど深刻だった。Tree-Ising論文は、このエージェント実行が158ターン・8,970万トークン・forward pass 50回・計算15.6時間・1回あたり約312ドルだったと記述し、同じ修復をもっと安い計算で再現できるかを問い直した。

「必要なのは4回のforward-pass要求とLLMトークンゼロだけで、焼きなましレシピのGPU時間は約0.90ドルで済む。」

It requires only four forward-pass requests and zero LLM tokens, with the annealing recipe costing approximately $0.90 in GPU time.

arXiv:2611.14210「Tree-Ising: Repairing Language Models with Bit-Level Ising Edits」(2026年11月10日公開v1)、本文

仕組み――ビット水準の許容編集に絞り、出力行ごとのQUBOに厳密分解する

Tree-Isingは、モデル自身のBF16重みの上で疎な離散最適化として修復を組み立てる。ベースモデルのforward統計から、ループ方向を弱め、結論方向を強め、生産的なトークンでは層の出力を保持する目的関数を定義する。許容する編集は、共有グループの指数と仮数をすべて保存する符号反転と指数シフトだけだ(共有指数・仮数の書き込みは設計上ゼロ)。この目的関数を出力行ごとの独立したQUBO(Ising)問題へ厳密分解し、対象2層で計2,048個の行問題を、GPU上の焼きなまし(SA)またはquantum-inspired simulated bifurcation(SB)で解く。状態木表現では損失なしのBF16保存が特殊例になるため、編集の差分監査が容易になる設計だ。

図解Tree-Isingの修復レシピ(arXiv:2611.14210の2節、Figure 1に基づく)
  1. 01 統計収集

    forward pass 4回

    ベースモデルのforward統計からループ方向と結論方向を特定し、生産的トークンの層出力を記録する。LLMトークンは使わない。

  2. 02 目的関数

    ループ方向を弱める

    ループ方向を弱め、結論方向を強め、生産的トークンでの層出力を保持する3項の目的を定義する。

  3. 03 QUBO分解

    行ごとに独立

    目的関数を出力行ごとの独立QUBO(Ising)問題へ厳密分解する。対象2層で計2,048個の行問題。

  4. 04 ソルバー

    GPUでSAまたはSB

    焼きなましまたはsimulated bifurcationでGPU上に解く。実行は31分。

  5. 05 BF16編集

    符号反転と指数シフト

    共有グループ指数と仮数を保存する編集だけを重みに適用。共有指数・仮数の書き込みはゼロ。

  6. 06 評価

    編集済みチェックポイント

    エージェント編集と同一プロトコルで5つの数学ベンチマークを再測定し、比較する。

arXiv:2611.14210(2026-11-10公開v1)の2節とFigure 1に基づく。4回のforward pass・トークンゼロ・約0.90ドル・31分は要旨と1節の記述。行問題数2,048はFigure 1の表示。

結果――5つの数学ベンチマークすべてでエージェント編集を上回る

エージェントが対象とした2層への適用で、Tree-Isingの焼きなましはMATH-500@4(問題あたり4 completionsの平均)で54.6%、simulated bifurcationは55.1%になり、同一評価プロトコルで再測定したエージェント編集の51.7%を上回った(ベースモデルは7.9%)。5つの数学ベンチマーク(MATH-500、GSM8K、AMC23、Minerva Math、OlympiadBench)のすべてで両ソルバーがエージェント編集を上回り、多重比較の補正後もMATH-500とGSM8Kで統計的に有意だったと報告している。変更した重みはエージェントの13万188個に対しSAで11万2,630個(13%減)、SBで10万8,327個(17%減)、BF16のビット反転は62万1,388から27万8,767へ2.2倍減った(論文は2.2〜2.3倍と記載)。修復はループの解消であって、一般的な数学能力を獲得した証拠ではない。

図解数学ベンチマークの結果(arXiv:2611.14210、コード付属の参照値)
  • ベースモデル

    MATH-500
    7.9%
    GSM8K
    —
    AMC23
    —
    Minerva
    —
    Olympiad
    —
    変更重み数
    —
  • エージェント編集WSP・Astra

    MATH-500
    51.7%
    GSM8K
    65.6%
    AMC23
    22.0%
    Minerva
    24.2%
    Olympiad
    21.4%
    変更重み数
    130,188
  • Tree-Ising SA焼きなまし

    MATH-500
    54.6%
    GSM8K
    70.5%
    AMC23
    22.7%
    Minerva
    26.1%
    Olympiad
    24.3%
    変更重み数
    112,630
  • Tree-Ising SB分岐法

    MATH-500
    55.1%
    GSM8K
    70.8%
    AMC23
    25.0%
    Minerva
    25.6%
    Olympiad
    24.0%
    変更重み数
    108,327

arXiv:2611.14210(2026-11-10公開v1)とコードリポジトリ付属の参照値(一致を確認)。測定はMATH-500@4、GSM8K@1、AMC23@16、Minerva@4、OlympiadBench@1(@kは問題あたりk completionsの平均)。ベースモデルの7.9%はMATH-500のみ論文に記載。エージェント編集51.7%はTree-Ising著者が同一プロトコルで再測定した値で、WSPブログ公表値は48.1%。すべて著者測定値。

費用と転用――31分・約0.9ドル、2BではGSM8K 21.6%から69.4%へ

費用は、エージェント実行の約312ドル・15.6時間に対し、Tree-Isingの焼きなましレシピは31分・GPU時間約0.90ドルで、論文は約350分の1と記す。forward passは4回でLLMトークンはゼロだ。約0.90ドルはこの実験のGPU時間で、問題の選定や評価を含む総運用費ではない。層とdoseをベースモデルのみを使って選んだQwen3.5-2Bへの転用では、greedy GSM8Kが21.6%から69.4%に上昇したという。概念実証として、8変数の修復サブ問題をIBM Heronの量子プロセッサでQAOAにより実行したと報告するが、大規模な量子優位性の実証ではなく、公開コードに含まれるのは古典的なSA/SBパイプラインだ。コードは2026年11月10日にGitHub(TheQuantumGOAT/Tree-Ising、v0.2.0)で公開され、SA/SBソルバーと再現設定、チェックサム付きの入力準備を含み、付属の参照値は論文表と一致した。ただしライセンス表記は確認できず、第三者による独立再現は2026年11月13日時点でまだない。数値は著者の実験条件(A100 40GB、指定されたチェックポイントrevision)での結果で、プレプリントであり査読済みではない。

出典

  1. arXiv:2611.14210「Tree-Ising: Repairing Language Models with Bit-Level Ising Edits」(要旨ページ)2026-11-10 15:32 UTC公開v1(arXiv要旨ページで確認)、著者2名(Hadi Salloum、Ammar Ali)、cs.LG。要旨の主張(158ターン・8,970万トークン・50 forward passのWSPエージェント実行、BF16上の符号反転と指数シフト、出力行ごとのQUBOへの厳密分解、MATH-500 54.6%対エージェント51.7%・ベース7.9%、SB 55.1%、変更重み13〜17%減・BF16ビット反転2.2〜2.3倍減、4 forward pass・トークンゼロ・約0.90ドル、2BのGSM8K 21.6%→69.4%、IBM Heronでの8変数QAOA)。2026-11-13に要旨を全文確認。
  2. arXiv:2611.14210 論文HTML版(v1)2026-11-13に全文取得。1節の背景(93%が32,768トークン上限に到達、層15/19の64列・131,072重みのdense rewrite、15.6時間・$312 per edit、31分・約$0.90・約350倍安価・30倍高速)、Figure 1(2,048 row QUBOs)、Table(変更重み130,188→112,630、BF16 bit flips 621,388→278,767、共有指数書込1,261→0、仮数書込129,668→0)、多重比較補正後の有意性(MATH-500・GSM8K)、SBの55.1%と4%少ない変更重み。
  3. WSPプロジェクトページ「Sparks of Weight-Space Programming」(Takehi、Teoh、Zhang、Khattab/MIT CSAIL)2026-11-02公開(2026-11-13に全文取得)。GPT-6 AstraによるQwen3.5-0.8Bの重み編集(層15/19のMLP出力射影64列ずつ・131,072重み、forward pass 50回)、MATH-500 7.9%→48.1%(ブログのサンプリング設定)、モデルカードのループ警告、練習問題96件中85件が上限到達。
  4. GitHub TheQuantumGOAT/Tree-Ising(コード公開)2026-11-13にraw READMEとGitHub APIで確認(作成2026-11-10、最終push 2026-11-11、v0.2.0)。SA/SB・連続baseline・評価・実験ループの実装、configs/qwen35_0.8b.yaml・qwen35_2b.yaml・repair_loop.yaml、MD5チェックサムとピン留めrevision(Qwen3.5-0.8B/2B、エージェントチェックポイントRikiyaT/Qwen3.5-0.8B-weight-space-programming)、参照結果表(論文値と一致:51.7/54.6/55.1ほか)、A100 40GBの報告、量子概念実証はコード外。ライセンスファイルはGitHub APIでも検出されず。
  5. arXiv:2611.09382「Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations」2026-11-13に要旨ページで確認。WSPの系統的調査(16編集軌跡×7ベンチマーク×Qwen3.5-0.8Bと9B)。Tree-Ising論文が参照するWSPの独立検証研究として背景で言及。

出典の確認日 2026.11.13

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む