自己回帰生成モデルは、過去の出力履歴を要約した情報をもとに次の出力を決める方式です。大規模言語モデル(LLM)の基盤であるTransformerのほか、再帰型ニューラルネットワーク、信号処理で使われる古典的なカルマンフィルター、状態空間モデル、Mambaなどがこの方式に含まれます。今回の理論は、こうしたモデルが生成する系列を、直前の状態だけでは次が決まらない非マルコフ的な確率過程とみなしたうえで、確率熱力学の枠組みで解析します。
- 01 対象
自己回帰生成モデル
過去の出力履歴の決定的な要約から次の出力をサンプリングする。Transformerからカルマンフィルターまでを同じ枠組みで扱う
- 02 性質
非マルコフ過程
出力の系列は履歴に依存し、マルコフ性を仮定した既存の熱力学の一般論をそのまま当てはめられない
- 03 定義
エントロピー生成
出力を生成する過程にどの程度一方向性(不可逆性)があるかを表す量
- 04 推定
軌跡からの効率的推定
指数オーダーの計算量を要せず、サンプリングした軌跡から推定できる
- 05 分解
非負の寄与の和
各時刻のゼロ以上の寄与の和に分解でき、各項はさらに圧縮損失とモデル不一致に分かれる
東京大学・JSTの共同発表(2026-11-06)と論文の抄録による。
発表によると、理論はエントロピー生成をサンプリングした軌跡から指数オーダーの計算量をかけずに推定する方法を示し、情報理論的な観点から、エントロピー生成を各時刻に対応するゼロ以上の寄与の和として表せることを導きました。各寄与はさらに、情報理論的な意味を持つ圧縮損失とモデル不一致に分かれます。線形ガウスの場合には理論がカルマンのイノベーション表現に帰着し、エントロピー生成を解析的な式で書けることも示されています。
LLMを使った実験では、事前学習済みのTransformerモデルGPT-2についてエントロピー生成を評価しました。トークン単位のエントロピー生成は文法上の作為(syntactic artifact)が支配的だった一方、文単位では、出来事が因果の順序に沿った文章集合のほうが、順序を壊した文章集合より大きくなる傾向が見られました。この結果は、より大きなモデルQwen3-4B-Baseによる再評価でも支持されたと論文は述べています。
「トークン単位のエントロピー生成は文法上の作為が支配的である一方、文単位のエントロピー生成は、非因果的な文章集合より因果的な順序の文章集合のほうが大きくなる傾向があります。この観察は、かなり大きなモデルQwen3-4B-Baseによる再評価によって裏付けられました。」
We find that the token-level entropy production is dominated by a syntactic artifact, while the sentence-level entropy production tends to be larger for causally ordered than for noncausal text sets. This observation is supported by a reevaluation with a substantially larger model, Qwen3-4B-Base.
共同発表は、この実験について文章に表れた出来事の順序関係がモデルに反映されていることを示唆する結果だと説明し、生成AIの内部に形成されると考えられる現実世界の表現、いわゆる「世界モデル」の定量的な理解につながることが期待されるとしています。研究はJSTの戦略的創造研究推進事業ERATOの支援を受けています。
論文が示したのは順序関係の反映を示唆する計測であって、LLMが完全な世界モデルを獲得したことの証明ではありません。エントロピー生成はモデルの消費電力や推論効率を直接測る指標でもありません。実験はGPT-2とQwen3-4B-Baseという限られたモデルでの概念実証であり、ほかの規模や言語への一般化、研究コードや実装の公開状況は、今回参照した資料からは確認できません。
出典
- 共同発表:自己回帰生成モデルの熱力学を構築~大規模言語モデルに内在する「世界モデル」の定量的理解に向けて~(東京大学・JST、2026-11-06)発表日、沙川貴大教授の所属、対象モデル(Transformerからカルマンフィルターまで)、エントロピー生成の効率的推定と非負寄与への分解、LLM実験の要旨、PRX Intelligenceオンライン版への掲載(2026-11-05米国東部標準時間)、ERATO支援。2026-11-10に全文取得
- Stochastic Thermodynamics for Autoregressive Generative Models: A Non-Markovian Perspective(Takahiro Sagawa、PRX Intelligence、2026-11-05)著者(単著)と掲載誌、DOI。抄録でGPT-2のトークン単位のエントロピー生成が文法上の作為で支配的である点、文単位は因果順序の文章集合で大きい傾向、Qwen3-4B-Baseでの再評価、線形ガウスでのカルマン表現への帰着、遡及推論による非負寄与への分解と圧縮損失・モデル不一致への分割を確認。2026-11-10にCrossRef経由で抄録取得
出典の確認日 2026.11.10