NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Cmpnd、フロンティアLLMが小型モデルの重みを直接編集する「dspy-wsp」を公開──勾配を使わないDSPyオプティマイザー、決定モデル5種で1.9〜20ポイント改善を報告

Cmpnd(CEO Drew Breunig氏)は2026年11月13日、フロンティアLLMが別のモデルの重みを読んで直接編集し、DSPyプログラムを改善する実験的オプティマイザー「dspy-wsp」を公開した。writerと呼ぶLLMが対象モデルの重みをサンドボックス内のPythonカーネルで調べ、予算付きのforward passで結果を確かめながらテンソルを書き換える。勾配も学習ループも使わない。MITライセンスで、パッケージはPython Package Index(PyPI)に11月8日から登録され、同社のブログによれば0.6B〜9Bの決定モデル5種をTyped Decisionsベンチマークで編集した結果、WeightSpace単独で1.9〜16.1ポイント、dspy.experimentalのReAnchorとの併用で6.5〜20.0ポイントの正解率上昇を報告した。数値はすべて開発元の報告で、独立した再現結果はまだない。

dspy-wspは、DSPyの最適化手順に重み編集を接続するパッケージだ。DSPyは宣言的に書いたLLMプログラムを指標に沿って自動調整するフレームワークで、従来のオプティマイザーはプロンプトや例示の選び方を変えてきた。WeightSpaceはそこへ、writerが学生モデルの重みを直接編集する経路を追加する。writerはサンドボックス付きのPythonカーネルで重みを読み、プログラムを練習例で実行して採点する予算付きforward passツールで問題を確かめ、編集を重ねる。READMEは「勾配を使わず、学習もしない」と説明する。

実行はターンで進む。各ターンでwriterは短い説明と1つのコードブロックを送る。Pythonブロックはカーネル内で重みの読み書きを行い、forwardブロックはプログラムを練習例(最大512件)で実行して指標で採点する。1回のforward passが予算1単位で、予算を使い切るとwriterが選んだ編集がパッチになる。編集の対象には制限があり、埋め込み、出力層、最終normへの変更と、テンソル全体のスケールだけの変更はホストが拒否する。できあがったパッチは変更分のテンソルとbase・編集後のSHA-256ハッシュだけで、公開済みのbaseモデルがあればビット単位で同じ状態を再構築できる。フルチェックポイントへの書き出しもでき、vLLMなどで通常のモデルとして配信できる。GEPAを使う集団探索のオプションもある。

図解WeightSpaceの1回の実行の流れ
  1. 01 準備

    DSPyプログラムと練習例を用意

    署名・指標・練習例を渡してcompileを呼ぶ。練習例の4分の1(既定)がwriter未見の検証用に回る

  2. 02 読み取り

    サンドボックス内で重みを調査

    writerがPythonカーネルでテンソルを読む。ネットワークは遮断され、書き込みは実行フォルダに限る

  3. 03 評価

    予算付きforward pass

    プログラムを練習例で実行し指標で採点。1回のpassが予算1単位で、同社の検証の予算は25pass

  4. 04 編集

    テンソルを直接編集

    埋め込み・出力層・最終normへの変更とテンソル全体のスケールだけの編集は拒否される

  5. 05 出力

    パッチと最終検証

    差分パッチ(SHA-256付き)を保存し、writerが見ていない検証例で編集前後を同条件で比較する

GitHub cmpnd-ai/dspy-wspのREADME(確認2026-11-16)に基づく。既定の実行ではwriterが決定ヘッドをカーネル内で再計算できる。原論文のルールはsimulate_head=Falseで選べる。

「まだ序盤だが、互いに脳外科手術を行い合えるモデルには、計り知れない可能性がある。」

It's early days, but models that can perform brain surgery on one another have mind-boggling potential.

Drew Breunig(Cmpnd CEO)、公式ブログ「Weight-Space Programming with DSPy」2026年11月13日

元になった研究と公開の経緯

方法の基礎は、MIT CSAILのRikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabの4氏が2026年11月2日に公開した「Sparks of Weight-Space Programming」だ。同研究ではGPT-6 AstraがQwen3.5-0.8Bの重みの0.016%を編集し、数学問題で繰り返していた推論ループを解消してMATH-500の正解率を7.9%から48.1%に上げた。指示追従の評価IFEvalは約3倍になった。dspy-wspは、この実験の仕組みをDSPyのプログラムと指標に組み替えたもので、READMEは「早期リリース」と位置付ける。コアのDSPyライブラリの外で公開し、壊れる箇所の報告をGitHub issuesとDSPy Discordで呼びかけている。パッケージはDSPy 3.5とPython 3.11以降を要求する。

図解公開までの経緯
  1. 元研究を公開

    MIT CSAILの4氏が「Sparks of Weight-Space Programming」を公開。GPT-6 AstraがQwen3.5-0.8Bの重み0.016%を編集し、MATH-500を7.9%から48.1%に上げた実験を報告

  2. PyPIに0.1.0を登録

    dspy-wspパッケージの最初の版。同日の0.1.1を経て11月10日に0.1.2が続いた

  3. 公式ブログで発表

    CmpndのCEO Drew Breunig氏がブログで公開を発表。決定モデル2ファミリーを追加した0.2.0を同日に公開

  4. CASRAIが解説記事

    研究管理分野のCASRAIが紹介記事を公開。公開日と数値の記述に一次資料と異なる箇所がある(本稿は一次資料を採用)

日付は元研究ブログのPublished表記、PyPIの登録記録(UTC)、公式ブログの表示日付、CASRAI記事の公開表記による。

決定モデル5種での検証

同社の検証は、状態と質問に対して選択肢の確率を返す決定モデル(System One型)5種をTyped Decisionsベンチマークで編集するものだ。対象はLiquid AIのd1-omni-600Mとd1-2B、Qwen3-0.6B基盤のNanoJev、CloudflareのClef-Flash(9B)、Strandsのdecider 2B。writerは推論effortを最大にしたGPT-6 Astraで、各モデルを1つの会話・25回のforward passで編集した。結果はwriterが見ていない400件のテストケースで採点し、上昇幅は編集前とのペア比較で示した。標準誤差は0.7〜1.4ポイント。実行は1台のMacBook Pro(MLX)で、1回の実行は68〜167分、writer APIの費用は5.42〜10.78ドルだった(READMEとresults文書の説明)。

図解Typed Decisionsでの5モデルの結果(開発元報告)
  • d1-omni-600MLiquid AI

    未編集
    50.9%
    WeightSpace
    66.9%(+16.1)
    ReAnchor併用
    69.1%(+18.3)
  • NanoJevQwen3-0.6B基盤

    未編集
    39.2%
    WeightSpace
    52.4%(+13.3)
    ReAnchor併用
    56.4%(+17.3)
  • d1-2BLiquid AI

    未編集
    60.6%
    WeightSpace
    74.0%(+13.4)
    ReAnchor併用
    77.9%(+17.3)
  • Strands Decider 2B

    未編集
    53.0%
    WeightSpace
    63.4%(+10.4)
    ReAnchor併用
    73.0%(+20.0)
  • Clef-FlashCloudflare・9B

    未編集
    68.8%
    WeightSpace
    70.7%(+1.9)
    ReAnchor併用
    75.3%(+6.5)

Cmpndのresults文書(2026-11-07と2026-11-11)に基づく。writerは推論effort最大のGPT-6 Astra、各モデル25 forward pass、writerが見ていない400件のテストケースで採点。数値はプログラムが返す答えの正解率で、括弧内は編集前とのペア比較の上昇幅(ポイント)、標準誤差は0.7〜1.4ポイント。すべて開発元の報告で、独立した再現はない。

writerの選択が結果を左右する。同じ設定でGPT-6.1 Solをwriterにしたときの上昇幅は、d1-omni-600Mで+5.8、NanoJevで+12.1、d1-2Bで−0.6ポイントだった。GPT-6 Astraでは同じ3モデルで+16.1、+13.3、+13.4になる。READMEは「試した3モデルのうち2つでGPT-6.1 Solより良い編集を書いた」と説明する。

数字の読み方には条件もある。既定の実行では、writerがカーネル内で決定ヘッドを再計算し、そこへ編集を閉形式で当てはめられる。原論文のwriterはネットワークをforward passツール経由でしか実行できない。このルールに戻してd1-omni-600Mを再実行したところ、上昇幅は+2.8±0.7ポイントに縮小し、ReAnchorを上乗せする効果もなかった。厳格条件の実行は73分・9.25ドルだった。

ReAnchorは重みを変えないオプティマイザーで、プログラムが確率を答えに変換するときの閾値(Noulの閾値、Scoreの切れ目、Choiceの重み)を再調整する。WeightSpaceの編集と重複しないため併用でき、Strands Decider 2BではReAnchor単独の+13.7が編集単独の+10.4を上回り、併用で+20.0だった。Clef-Flashでは逆に、編集単独の+1.9に対して併用で+6.5まで伸びた。

対応バックエンドは決定モデルの5ファミリーを内蔵する。d1-omni-600M、NanoJev、d1-2BはApple siliconのMLXとPyTorchの両方で読み込み、Clef-FlashとStrandsはMLXのみだ。テキスト生成LLM向けには、NVIDIA GPUでvLLMを使うバックエンドを追加インストールできる。ブログによれば実験は1台のMacで完結し、2Bのモデルはメモリー約6GB、d1-omni-600Mは4GB以上のメモリーがあれば動く。Clef-Flashは約20GBを要する。

カーネルはLinuxではbubblewrap、macOSではsandbox-execで隔離され、ネットワークは遮断される。書き込みは実行フォルダと一時フォルダに限る。一方でREADMEは、カーネルの出力がすべてwriterのAPIへ送られるため、writerの提供者がモデルの重みと練習例を見得ると明記する。サンドボックスが使えない環境では、モデルを読み込む前にエラーで止まる。編集は障害の除去であって能力の追加ではない、というのもREADMEの限界の記述だ。ループを起こさないGemma 3 270Mへの適用はほとんど動かず、原論文のLLM実験(50 pass・20時間)の完全な再現はまだ行っていない。8基のA100で1時間だけ動かす概念実証の記録はresults文書に残っている。

dspy-wspは、小型の決定モデルの専用化をGPUクラスタなしで試せる選択肢を追加した。ただし効果の大きさはwriterと実行条件に依存し、原論文のルールに近づけると縮む条件も開発元自身が示している。独立した再現と、性能の裏付けは今後の報告を待つしかない。

実行条件と留保

本稿の性能数値はすべて開発元(Cmpnd)のresults文書による報告で、独立した再現はない。既定の実行は原論文より広い操作(決定ヘッドのカーネル内再計算)を許しており、原論文のルールでは効果が+2.8±0.7ポイントに縮小した。カーネルの出力はwriterのAPIへ送られ、writerの提供者が重みと練習例を見得る点はREADMEの記述どおりだ。コードはMITライセンスだが、実行にはwriter用のAPIキー(検証ではGPT-6 Astra)が必要で、その費用は1回の実行につき5.42〜10.78ドルだった。公開日は公式ブログの11月13日を採用した。編集の効果が未知のタスクや生成タスクでどこまで一般化するかは確認できていない。

出典

  1. Cmpnd公式ブログ「Weight-Space Programming with DSPy」|Drew Breunig(Cmpnd CEO)|2026-11-13発表日・位置付け・5モデル(0.6B〜9B)・25pass・約5〜10ドル・400件・範囲値(+1.9〜+16.1/+6.5〜+20.0)・実験環境(1台のMac・2B約6GB・d1-omniは4GB以上)・引用文の根拠
  2. GitHub cmpnd-ai/dspy-wsp README・LICENSE・CHANGELOG|CmpndWeightSpaceの仕組み・ターンとツール制限・ガードレール・早期リリースの位置付け・時間費用(68〜167分・5.42〜10.78ドル)・writer比較・simulate_head=False・バックエンド5ファミリー・サンドボックスと安全・限界・MITライセンスの根拠
  3. results/2026-11-07-typed-decisions-astra/README|Cmpndd1-omni-600M・NanoJev・d1-2Bの各値と標準誤差・GPT-6.1 Sol比較・厳格条件(+2.8±0.7・73分・9.25ドル)・編集テンソルと実行詳細の根拠
  4. results/2026-11-11-typed-decisions-clef-strands/README|CmpndStrands Decider 2B・Clef-Flashの各値・ReAnchor追加値(+9.6/+4.7)・実行時間と費用の根拠
  5. Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights|Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab(MIT CSAIL)|2026-11-02元研究の著者・所属・公開日・実験8(重み0.016%・MATH-500 7.9%→48.1%・IFEval約3倍)の根拠
  6. PyPI dspy-wsp0.1.0(2026-11-08)から0.2.0(2026-11-13)の登録日時・MITライセンス表記の根拠
  7. CASRAI「Cmpnd Introduces DSPy-WSP Prototype for Weight-Space Programming in LLM Workflows」|CASRAI Editorial Board|2026-11-16二次報道の存在確認。公開日(11月14日)と数値表(NanoJev・Strandsの未編集値など)に一次資料と異なる記述がある点の確認

出典の確認日 2026.11.16

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む