NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

POSTECH、LLMが勾配学習なしでモデルの重みを直接書く「Weight-Space Programming」──3つのLLMが疎なテーブルを設計、ARCで最大54.4%

POSTECH(韓国の浦項工科大学)のHyunjong Ok氏とJaeho Lee氏は2026年11月17日、勾配ベースの学習を使わず、大規模言語モデル(LLM)にモデルの重みを直接記述させる「Weight-Space Programming」の研究をarXivに公開した(arXiv:2611.22055)。Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astraの3モデルに10件のラベル付き例とサンドボックスを与えて実験したところ、アーキテクチャの設計を任せた3モデルすべてが、テキストで書いた事実を置く疎なテーブルと、それを読む固定の手続きでモデルを構成した。ARCの選択式テスト3,530問での精度は最大54.4%(偶然は25%)で、著者報告では、同じLLMが記述した最良の公開Transformerを約1,800分の1のパラメータで上回った。実験で作った56モデル(テキストファイル計68MB)をMITライセンスで公開しているが、測定・分析コードの大半は含まれていない。

Transformerをはじめとする標準的なニューラルネットの構造は、勾配降下で学習しやすくGPUで速く動くように選ばれてきた。論文の着想は、学習をせずLLMが重みを手で書く「weight-space programming」では、その理由が成り立たなくなる、という点にある。アーキテクチャを固定して重みだけ書かせるのではなく、構造自体をLLMに選ばせたら何が生まれるかを問うている。

「Weight-space programmingでは、大規模言語モデル(LLM)が勾配ベースの学習なしに、重みを手で書く。だから(Transformerを選んだ)理由はもう成り立たない。」

In weight-space programming, a large language model (LLM) writes target weights by hand without gradient-based training, so those reasons no longer apply.

arXiv:2611.22055のabstract(2026-11-17投稿、2026-11-18確認)

実験の設計──重みを書くか、構造を選ぶか

実験では、3つのフロンティアLLM(Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra)に、10件のラベル付き例とサンドボックス環境、最小限の指示を与える。条件は2つで、1つは固定されたアーキテクチャの重みを記述させる条件、もう1つはアーキテクチャ自体を設計させる条件だ。評価はARC(AI2の選択式データセット)のテスト3,530問で、偶然にあたる正答率は25%。リポジトリの説明では、書かれた重みはテキストファイルとして保存され、固定の手続きがテーブルを参照して答えを出す構成になる。

図解Weight-Space Programmingの流れ(論文abstract・リポジトリREADMEの記載)
  1. 01 入力

    10件のラベル付き例+サンドボックス

    最小限の指示とともにLLM(ライター)に与える

  2. 02 記述

    アーキテクチャと重みをテキストで記述

    固定構造の重みを書く条件と、構造自体を設計する条件を比較

  3. 03 実行

    固定手続きがテーブルを参照して回答

    3モデルとも疎なテーブル+固定検索手続きを選んだ

  4. 04 採点

    ARCテスト3,530問

    最大54.4%(偶然25%)。同一LLM記述の最良公開Transformerを約1,800分の1のパラメータで上回る

arXiv:2611.22055v1のabstractとeffl-lab/Weight-Space-ProgrammingのREADME(2026-11-18確認)から作成。54.4%と1,800分の1は著者の測定値で、第三者による再現は含まれない。

3モデルが選んだのは疎なテーブル

設計を任せた3モデルすべてが、書いた事実を疎なテーブルに置き、固定の手続きでそれを読む構成を選んだ。テーブルの行の分け方には違いが出た。リポジトリの説明によると、Claude Opus 5.5はキーと値を兼ねる1文を行に使い、GPT-6.1 Solは手がかり側と答え側に分割し、GPT-6 Astraは支持する答えと否定する答えの対で行を作った。テーブルでは重みの1行1行に意味が書けるため、答えがどの行に根ざすかを追え、行を削ると他の答えへの影響が小さい、と論文は説明する。

精度では、ARCテストでLLM設計条件の最終世代が最大54.4%(Claude Opus 5.5)に達し、同じLLMが記述した公開アーキテクチャの最良値43.1%を上回った。パラメータ数は約1,800分の1という著者報告だ。著者らの提案する連想記憶型の構成では、書いた事実をペアのテーブルに折りたたみ、質問ごとに固定数の行を読む。この構成は、同じLLMが書いた最良の公開アーキテクチャより約680分の1の大きさで、同サイズのTransformerと比べGPU上で最大17倍速く答えられたと報告されている。

図解ARCテスト精度(3,530問、偶然25%)──READMEの結果表から
  • Claude Opus 5.5

    記述済み公開構造
    43.1%
    LLM設計
    54.4%
    連想記憶
    52.4%
  • GPT-6.1 Sol

    記述済み公開構造
    35.0%
    LLM設計
    47.4%
    連想記憶
    45.6%
  • GPT-6 Astra

    記述済み公開構造
    34.4%
    LLM設計
    46.2%
    連想記憶
    47.4%

effl-lab/Weight-Space-ProgrammingのREADME結果表(2026-11-18確認)から作成。記述済み公開構造は各ライターが記述した公開アーキテクチャのうち最良、LLM設計と連想記憶は各系統の最終世代の値。1,800分の1の比較はLLM設計の系統、約680分の1と最大17倍の高速化は連想記憶の構成についての著者報告。

公開物と限界

リポジトリ(MITライセンス)には、3ライターが作った56モデルのテキストファイル(計68MB)、実行ハーネス、プロンプトの原文、勾配降下のベースライン、テストが公開されている。その一方で、READMEは測定・分析・描画コードの大半が含まれないと明記しており、例外はBM25比較を再実行するbm25.pyだけだ。大型の編集済みチェックポイント(100M〜2.6Bパラメータ)はサイズの理由で含まれない。論文は査読前のプレプリント(work in progress)で、54.4%はARC選択式という限られた評価での値であり、汎用的な言語生成や大規模推論の能力を示すものではない。17倍の高速化も、同サイズのTransformerとの特定のGPU実験での値だ。事前学習済みモデルの置き換えや勾配学習全般の不要を示した結果ではない、と読むのが妥当だ。

出典

  1. arXiv:2611.22055「Weight-Space Programming Doesn't Need Transformers」abstract(2026-11-17投稿、2026-11-18本文確認)WSPの定義(LLMが勾配学習なしで重みを手で書く)、3フロンティアLLM×2条件の実験設計、疎なテーブルの選択、最大54.4%の原典
  2. GitHub effl-lab/Weight-Space-Programming README(MIT、2026-11-18確認)ARC 3,530問・偶然25%の結果表(3ライター×3構成)、約1,800分の1のパラメータ・約680分の1・最大17倍のGPU高速化、56モデル68MBの公開物、測定・分析コードと大型チェックポイント非公開の明記

出典の確認日 2026.11.18

KEEP EXPLORING

あわせて読みたい記事と映像

AIと社会の記事一覧
  1. Bitdefender、AIコーディング環境を狙う悪性GitHubコンテンツを分析──AGENTS.mdでの誘導と起動フックの2経路、悪性リンク22件

    セキュリティ企業Bitdefenderの研究部門Bitdefender Labsは2026年11月17日、AIコーディング支援ツールの利用環境を狙う悪性GitHubコンテンツの分析を公開した。研究者Andrei Anton-Aanei氏らが確認した悪性リンクは22件で、AGENTS.mdやCLAUDE.mdの文章でAIにsetup.jsの実行を誘導する経路に加え、.claude/settings.jsonのセッション開始フックでAIの判断を介さずコマンドを実行できる経路が報告されている。22件はリンクの数で、感染者数を示すものではない。

    記事を読む
  2. Google GTIG、実際の侵入でAIエージェント基盤の悪用を観測──脆弱性調査と悪用の完全自動化を初確認、LLMJackingの被害は単日10万ドル超

    GoogleのGoogle Threat Intelligence Group(GTIG)とMandiantは2026年11月16日、四半期ごとの脅威観測レポート「GTIG AI Threat Tracker: Agentic Threat Activity Crosses a Significant Threshold」を公開した。複数の脅威アクターがオープンソースのマルチエージェント型ペネトレーション基盤(ARTEX、CAIRN、CyberStrikeAI、PentAGI)を悪用し、実際の侵入の個別の工程を自動化した事例を観測した。脆弱性の発見と悪用を人間の介入なしに完全自動化するLLM基盤の使用は、この四半期に初めて確認したという。LLM認証情報の窃取でクラウド資源を消費するLLMJackingでは、単日の不正請求が10万ドルを超えた事例があり、最も深刻な事例では累計100万ドルに達した。観測範囲は限られ、数値はGoogleの報告値。

    記事を読む
  3. TokenWave AI、コーディングAIを「社員」として評価するベンチマーク「SWE-CoWork」を公開──テスト合格は約63%でも課題完了は8%未満(著者報告)

    米パロアルトのTokenWave AIは2026年11月15日、コーディングエージェントを組織の開発担当者として評価するベンチマーク「SWE-CoWork」を公開した(arXiv:2611.20218)。101件の開発課題を11言語・12分野の実リポジトリから作り、各課題で役割と知識が限定された26人の模擬同僚と職場記録から要求を回復させて実装・検証させる。11モデルの評価で、上位のClaude-Opus-5.5とGPT-6 AstraはFail-to-Pass(F2P)テストの63.84%と62.91%に合格した一方、課題を最後まで完了できたのは6.93%と7.92%だった。数値はすべて著者の実験報告で、第三者による独立再現は確認できていない。

    記事を読む