dspy-wspは、DSPyの最適化手順に重み編集を接続するパッケージだ。DSPyは宣言的に書いたLLMプログラムを指標に沿って自動調整するフレームワークで、従来のオプティマイザーはプロンプトや例示の選び方を変えてきた。WeightSpaceはそこへ、writerが学生モデルの重みを直接編集する経路を追加する。writerはサンドボックス付きのPythonカーネルで重みを読み、プログラムを練習例で実行して採点する予算付きforward passツールで問題を確かめ、編集を重ねる。READMEは「勾配を使わず、学習もしない」と説明する。
実行はターンで進む。各ターンでwriterは短い説明と1つのコードブロックを送る。Pythonブロックはカーネル内で重みの読み書きを行い、forwardブロックはプログラムを練習例(最大512件)で実行して指標で採点する。1回のforward passが予算1単位で、予算を使い切るとwriterが選んだ編集がパッチになる。編集の対象には制限があり、埋め込み、出力層、最終normへの変更と、テンソル全体のスケールだけの変更はホストが拒否する。できあがったパッチは変更分のテンソルとbase・編集後のSHA-256ハッシュだけで、公開済みのbaseモデルがあればビット単位で同じ状態を再構築できる。フルチェックポイントへの書き出しもでき、vLLMなどで通常のモデルとして配信できる。GEPAを使う集団探索のオプションもある。
- 01 準備
DSPyプログラムと練習例を用意
署名・指標・練習例を渡してcompileを呼ぶ。練習例の4分の1(既定)がwriter未見の検証用に回る
- 02 読み取り
サンドボックス内で重みを調査
writerがPythonカーネルでテンソルを読む。ネットワークは遮断され、書き込みは実行フォルダに限る
- 03 評価
予算付きforward pass
プログラムを練習例で実行し指標で採点。1回のpassが予算1単位で、同社の検証の予算は25pass
- 04 編集
テンソルを直接編集
埋め込み・出力層・最終normへの変更とテンソル全体のスケールだけの編集は拒否される
- 05 出力
パッチと最終検証
差分パッチ(SHA-256付き)を保存し、writerが見ていない検証例で編集前後を同条件で比較する
GitHub cmpnd-ai/dspy-wspのREADME(確認2026-11-16)に基づく。既定の実行ではwriterが決定ヘッドをカーネル内で再計算できる。原論文のルールはsimulate_head=Falseで選べる。
「まだ序盤だが、互いに脳外科手術を行い合えるモデルには、計り知れない可能性がある。」
It's early days, but models that can perform brain surgery on one another have mind-boggling potential.
元になった研究と公開の経緯
方法の基礎は、MIT CSAILのRikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabの4氏が2026年11月2日に公開した「Sparks of Weight-Space Programming」だ。同研究ではGPT-6 AstraがQwen3.5-0.8Bの重みの0.016%を編集し、数学問題で繰り返していた推論ループを解消してMATH-500の正解率を7.9%から48.1%に上げた。指示追従の評価IFEvalは約3倍になった。dspy-wspは、この実験の仕組みをDSPyのプログラムと指標に組み替えたもので、READMEは「早期リリース」と位置付ける。コアのDSPyライブラリの外で公開し、壊れる箇所の報告をGitHub issuesとDSPy Discordで呼びかけている。パッケージはDSPy 3.5とPython 3.11以降を要求する。
元研究を公開
MIT CSAILの4氏が「Sparks of Weight-Space Programming」を公開。GPT-6 AstraがQwen3.5-0.8Bの重み0.016%を編集し、MATH-500を7.9%から48.1%に上げた実験を報告
PyPIに0.1.0を登録
dspy-wspパッケージの最初の版。同日の0.1.1を経て11月10日に0.1.2が続いた
公式ブログで発表
CmpndのCEO Drew Breunig氏がブログで公開を発表。決定モデル2ファミリーを追加した0.2.0を同日に公開
CASRAIが解説記事
研究管理分野のCASRAIが紹介記事を公開。公開日と数値の記述に一次資料と異なる箇所がある(本稿は一次資料を採用)
日付は元研究ブログのPublished表記、PyPIの登録記録(UTC)、公式ブログの表示日付、CASRAI記事の公開表記による。
決定モデル5種での検証
同社の検証は、状態と質問に対して選択肢の確率を返す決定モデル(System One型)5種をTyped Decisionsベンチマークで編集するものだ。対象はLiquid AIのd1-omni-600Mとd1-2B、Qwen3-0.6B基盤のNanoJev、CloudflareのClef-Flash(9B)、Strandsのdecider 2B。writerは推論effortを最大にしたGPT-6 Astraで、各モデルを1つの会話・25回のforward passで編集した。結果はwriterが見ていない400件のテストケースで採点し、上昇幅は編集前とのペア比較で示した。標準誤差は0.7〜1.4ポイント。実行は1台のMacBook Pro(MLX)で、1回の実行は68〜167分、writer APIの費用は5.42〜10.78ドルだった(READMEとresults文書の説明)。
d1-omni-600MLiquid AI
- 未編集
- 50.9%
- WeightSpace
- 66.9%(+16.1)
- ReAnchor併用
- 69.1%(+18.3)
NanoJevQwen3-0.6B基盤
- 未編集
- 39.2%
- WeightSpace
- 52.4%(+13.3)
- ReAnchor併用
- 56.4%(+17.3)
d1-2BLiquid AI
- 未編集
- 60.6%
- WeightSpace
- 74.0%(+13.4)
- ReAnchor併用
- 77.9%(+17.3)
Strands Decider 2B
- 未編集
- 53.0%
- WeightSpace
- 63.4%(+10.4)
- ReAnchor併用
- 73.0%(+20.0)
Clef-FlashCloudflare・9B
- 未編集
- 68.8%
- WeightSpace
- 70.7%(+1.9)
- ReAnchor併用
- 75.3%(+6.5)
Cmpndのresults文書(2026-11-07と2026-11-11)に基づく。writerは推論effort最大のGPT-6 Astra、各モデル25 forward pass、writerが見ていない400件のテストケースで採点。数値はプログラムが返す答えの正解率で、括弧内は編集前とのペア比較の上昇幅(ポイント)、標準誤差は0.7〜1.4ポイント。すべて開発元の報告で、独立した再現はない。
writerの選択が結果を左右する。同じ設定でGPT-6.1 Solをwriterにしたときの上昇幅は、d1-omni-600Mで+5.8、NanoJevで+12.1、d1-2Bで−0.6ポイントだった。GPT-6 Astraでは同じ3モデルで+16.1、+13.3、+13.4になる。READMEは「試した3モデルのうち2つでGPT-6.1 Solより良い編集を書いた」と説明する。
数字の読み方には条件もある。既定の実行では、writerがカーネル内で決定ヘッドを再計算し、そこへ編集を閉形式で当てはめられる。原論文のwriterはネットワークをforward passツール経由でしか実行できない。このルールに戻してd1-omni-600Mを再実行したところ、上昇幅は+2.8±0.7ポイントに縮小し、ReAnchorを上乗せする効果もなかった。厳格条件の実行は73分・9.25ドルだった。
ReAnchorは重みを変えないオプティマイザーで、プログラムが確率を答えに変換するときの閾値(Noulの閾値、Scoreの切れ目、Choiceの重み)を再調整する。WeightSpaceの編集と重複しないため併用でき、Strands Decider 2BではReAnchor単独の+13.7が編集単独の+10.4を上回り、併用で+20.0だった。Clef-Flashでは逆に、編集単独の+1.9に対して併用で+6.5まで伸びた。
対応バックエンドは決定モデルの5ファミリーを内蔵する。d1-omni-600M、NanoJev、d1-2BはApple siliconのMLXとPyTorchの両方で読み込み、Clef-FlashとStrandsはMLXのみだ。テキスト生成LLM向けには、NVIDIA GPUでvLLMを使うバックエンドを追加インストールできる。ブログによれば実験は1台のMacで完結し、2Bのモデルはメモリー約6GB、d1-omni-600Mは4GB以上のメモリーがあれば動く。Clef-Flashは約20GBを要する。
カーネルはLinuxではbubblewrap、macOSではsandbox-execで隔離され、ネットワークは遮断される。書き込みは実行フォルダと一時フォルダに限る。一方でREADMEは、カーネルの出力がすべてwriterのAPIへ送られるため、writerの提供者がモデルの重みと練習例を見得ると明記する。サンドボックスが使えない環境では、モデルを読み込む前にエラーで止まる。編集は障害の除去であって能力の追加ではない、というのもREADMEの限界の記述だ。ループを起こさないGemma 3 270Mへの適用はほとんど動かず、原論文のLLM実験(50 pass・20時間)の完全な再現はまだ行っていない。8基のA100で1時間だけ動かす概念実証の記録はresults文書に残っている。
dspy-wspは、小型の決定モデルの専用化をGPUクラスタなしで試せる選択肢を追加した。ただし効果の大きさはwriterと実行条件に依存し、原論文のルールに近づけると縮む条件も開発元自身が示している。独立した再現と、性能の裏付けは今後の報告を待つしかない。
実行条件と留保
本稿の性能数値はすべて開発元(Cmpnd)のresults文書による報告で、独立した再現はない。既定の実行は原論文より広い操作(決定ヘッドのカーネル内再計算)を許しており、原論文のルールでは効果が+2.8±0.7ポイントに縮小した。カーネルの出力はwriterのAPIへ送られ、writerの提供者が重みと練習例を見得る点はREADMEの記述どおりだ。コードはMITライセンスだが、実行にはwriter用のAPIキー(検証ではGPT-6 Astra)が必要で、その費用は1回の実行につき5.42〜10.78ドルだった。公開日は公式ブログの11月13日を採用した。編集の効果が未知のタスクや生成タスクでどこまで一般化するかは確認できていない。
出典
- Cmpnd公式ブログ「Weight-Space Programming with DSPy」|Drew Breunig(Cmpnd CEO)|2026-11-13発表日・位置付け・5モデル(0.6B〜9B)・25pass・約5〜10ドル・400件・範囲値(+1.9〜+16.1/+6.5〜+20.0)・実験環境(1台のMac・2B約6GB・d1-omniは4GB以上)・引用文の根拠
- GitHub cmpnd-ai/dspy-wsp README・LICENSE・CHANGELOG|CmpndWeightSpaceの仕組み・ターンとツール制限・ガードレール・早期リリースの位置付け・時間費用(68〜167分・5.42〜10.78ドル)・writer比較・simulate_head=False・バックエンド5ファミリー・サンドボックスと安全・限界・MITライセンスの根拠
- results/2026-11-07-typed-decisions-astra/README|Cmpndd1-omni-600M・NanoJev・d1-2Bの各値と標準誤差・GPT-6.1 Sol比較・厳格条件(+2.8±0.7・73分・9.25ドル)・編集テンソルと実行詳細の根拠
- results/2026-11-11-typed-decisions-clef-strands/README|CmpndStrands Decider 2B・Clef-Flashの各値・ReAnchor追加値(+9.6/+4.7)・実行時間と費用の根拠
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights|Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab(MIT CSAIL)|2026-11-02元研究の著者・所属・公開日・実験8(重み0.016%・MATH-500 7.9%→48.1%・IFEval約3倍)の根拠
- PyPI dspy-wsp0.1.0(2026-11-08)から0.2.0(2026-11-13)の登録日時・MITライセンス表記の根拠
- CASRAI「Cmpnd Introduces DSPy-WSP Prototype for Weight-Space Programming in LLM Workflows」|CASRAI Editorial Board|2026-11-16二次報道の存在確認。公開日(11月14日)と数値表(NanoJev・Strandsの未編集値など)に一次資料と異なる記述がある点の確認
出典の確認日 2026.11.16