数独や迷路のような簡単なパズルを題材に、層を繰り返し適用して答えを出す「ループ型モデル」の研究(HRM、TRMなど)が注目されてきた。ただしこれらの学習は、推論の軌跡を通した逆伝播(BPTT)を必要とし、不安定で学習が遅く、簡単なパズルに多くのパラメータとFLOPsを使う。一方、1980年代のHopfieldとTankは、適切に設計したエネルギー関数を最小化すると制約問題が解けることを示していた。CRAMはこの古典的なエネルギーを「学習する対象」に変えたものだ。
CRAMのエネルギーはボルツマンマシンの平均場自由エネルギーの形で書かれ、対相互作用の重みが学習可能になっている。学習は、正しい解のエネルギーを引き下げ、負例のエネルギーを押し上げる局所的な目的(擬似尤度)だけで、推論の過程を微分しない。推論では、新しいパズルの手がかり(既知のマス)を固定し、残りのマスをランダムに埋めた複数の探索チェーンを並行に走らせ、1マスずつエネルギーを最小化していく。チェーンは独立し、更新にはノイズがあるため局所的な偽の最小値から抜けられる。どれかのチェーンのエネルギーが、学習データの解から決めた閾値を下回ると探索を打ち切る。
- 01 手がかり
手がかりの固定
新しいパズルの既知のマス(手がかり)をクランプする
- 02 開始
複数チェーンの開始
残りのマスをランダムに埋めた盤面を複数用意し、1盤面=1チェーンで並行に探索
- 03 探索
エネルギー最小化
1マスずつエネルギーを下げる更新を繰り返す(ノイズ付きで、偽の局所解から抜けられる)
- 04 停止
閾値で停止
どれかのチェーンのエネルギーが学習解から決めた閾値を下回ったら探索終了
- 05 回答
回答の確定
閾値を下回ったチェーンの盤面を答えにする
arXiv:2611.17309本文Fig.1・2章(著者の説明)。チェーン数は課題のレシピで決まる(Sudoku-Extremeは4、Maze-Uniqueは1、N-Queensとグラフ彩色は問題サイズN)。
Sudoku-Extreme(テスト41万2,786問)とMaze-Unique(同1,000問)での比較では、CRAMが両課題で最も正答率が高かった。ループ型で最も正答率の高いTRMPでもSudoku 99.87%・Maze 99.23%にとどまり、CRAMの学習時間はこれらのモデルの数千分の1以下だった。推論コストは、各モデルの最高精度に揃えて比べると、CRAMのFLOPsは最も近いEBRの282分の1、EqRとは128,000分の1だった(1万問の予算スイープ)。
CRAM
- 正答率
- 100.00(99.996)
- パラメータ
- 7.7K
- FLOPs/問
- 2.02×10⁹
- 学習時間
- 0.04秒
TRMP(再実装)
- 正答率
- 99.87
- パラメータ
- 32.8K
- FLOPs/問
- 4.57×10¹²
- 学習時間
- 9.0時間
EBR
- 正答率
- 99.85
- パラメータ
- 1.8M
- FLOPs/問
- 3.37×10¹¹
- 学習時間
- 2.8時間
GRAM
- 正答率
- 96.10
- パラメータ
- 9.1M
- FLOPs/問
- 8.51×10¹²
- 学習時間
- 3.2時間
TRM
- 正答率
- 85.73
- パラメータ
- 5.0M
- FLOPs/問
- 4.11×10¹¹
- 学習時間
- 2.5時間
HRM
- 正答率
- 54.62
- パラメータ
- 27.0M
- FLOPs/問
- 2.20×10¹¹
- 学習時間
- 1.2時間
arXiv:2611.17309 Table 2(HTML版、著者報告)。正答率は3学習シードの平均(Maze-UniqueはCRAM 100.00%・パラメータ18・FLOPs 8.37×10⁵・0.13秒)。CRAMのSudoku行はTable 2では小数2桁で100.00と表示されるが、要旨・本文・付録の停止規則表は99.996%で、記事ではそちらを採用。パラメータは非ゼロのユニーク値数。FLOPs/問は全探索チェーンと失敗した探索を含む平均。学習時間は測定条件が非対称(留意点参照)。TRMPは学習コード未公開のため著者らの再実装。
エネルギーの閾値で停止するため計算量が難易度に追従し、1万問を難易度ビンで分けると、中央値の計算量は最も易しいビンから最も難しいビンまで22倍に増えた(固定予算のFRMなどとの対比)。学習データの効率も報告され、同じエネルギーの学習方法を比べると、軌跡を通した逆伝播(BPTT)より局所目的の方が大幅に速いという。
もう一つの重要な結果は、手で設定したエネルギーでも同じ課題が解けるという点だ。課題のルールから重みを手設定したCRAM(ユニーク重みは1〜3個、学習なし)は、4つのベンチマークすべてのテスト問題を完全に解いた。N-Queens 8×8では、学習版CRAMが113パラメータ・2.9秒の学習で正答率99.95%に達し、手設定版は2パラメータで100%だった。同じ課題でHRMは84.41%に59分、GRAMは99.44%に1.3時間を要している。
CRAM(学習版)
- 正答率
- 99.95
- パラメータ
- 113
- 学習時間
- 2.9秒
CRAM(手設定・学習なし)
- 正答率
- 100.00
- パラメータ
- 2
- 学習時間
- なし
EBR
- 正答率
- 100.00
- パラメータ
- 7.1M
- 学習時間
- 3.2時間
GRAM
- 正答率
- 99.44
- パラメータ
- 10.9M
- 学習時間
- 1.3時間
TRM
- 正答率
- 67.39
- パラメータ
- 6.8M
- 学習時間
- 1.3時間
HRM
- 正答率
- 84.41
- パラメータ
- 27.3M
- 学習時間
- 59分
arXiv:2611.17309 Table 3(HTML版、著者報告、3シード平均)。N=1は1サンプル保持、N=20ではCRAM(学習版)も100.00%。手設定版の学習時間「なし」は重みを手で設定することを示す。10×10盤では学習版99.45%(181パラメータ・6.8秒)。
留意点
結果は著者報告の査読前プレプリント(v1)で、コードと再現手順(REPRODUCING.md)は公開済みだが独立した再現はまだない。学習時間の比較は条件が非対称で、CRAMは同一プロセスの初回実行後に続く7回の完全実行の中央値、比較モデルは初期化とコンパイルを含む新プロセス1回の計測であり、「最低1,000倍」はこの条件下の主張だ(実時間とFLOPsは別の指標)。対象は候補構造が固定された制約パズルで、レシピにはタスク固有の事前知識(数独の制約テーブルや迷路の局所性など)が組み込まれている。手設定のエネルギーでも解けることから、この結果は汎用推論能力の証明ではなく、著者自身も「SudokuやMazeをループ型推論のスケーラビリティ試験に使うことへの警告」を結論の一つに掲げ、ARC-AGIのような複雑な課題では単純なエネルギーでは苦戦すると述べている(付録FにはMaze-Hard向けの潜在変数拡張がある)。
出典
- arXiv:2611.17309「Classical Energies Learn to Reason 1,000× Faster than Looped Models」|Benjamin Hoover、Hugh Blayney、James C. R. Whittington(Prefrontal, London)|投稿2026-11-12(v1のみ)タイトル・著者3名・所属・投稿日・要旨の数値(42ms/132ms、99.996%と100%、1,000倍、282分の1)の根拠
- 同論文HTML版(v1)CRAMのエネルギーと局所学習目的、推論手順(Fig.1)、Table 2・3の全数値(7ループ型ベースライン対比)、学習時間の測定条件の脚注、難易度適応(Fig.3の22倍)、FLOPsスイープの282〜128,000倍、手設定エネルギーの完全解答、ARC-AGIへの言及、テストセット規模(412,786問・1,000問)、ライセンスCC BY 4.0の根拠
- GitHub Prefrontal-AI/CRAM|作成2026-11-12・最終push 2026-11-13・Apache-2.0(GitHub API)コード・再現手順(REPRODUCING.md)の公開とライセンスの根拠
出典の確認日 2026.11.16