NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

東京大学、自己回帰生成モデルの熱力学理論を構築 LLMの生成に内在する一方向性を定量化

東京大学の沙川貴大教授(大学院工学系研究科)は2026年11月6日、科学技術振興機構(JST)との共同発表で、大規模言語モデルからカルマンフィルターまでを同じ枠組みで扱える自己回帰生成モデルの熱力学理論を公表しました。生成過程の不可逆性を表す「エントロピー生成」を効率的に推定でき、LLMの実験では文章の因果的な順序関係がモデルに反映されていることを示唆する結果が得られたとしています。論文は2026年11月5日(米国東部時間)にPRX Intelligenceオンライン版に掲載されました。

自己回帰生成モデルは、過去の出力履歴を要約した情報をもとに次の出力を決める方式です。大規模言語モデル(LLM)の基盤であるTransformerのほか、再帰型ニューラルネットワーク、信号処理で使われる古典的なカルマンフィルター、状態空間モデル、Mambaなどがこの方式に含まれます。今回の理論は、こうしたモデルが生成する系列を、直前の状態だけでは次が決まらない非マルコフ的な確率過程とみなしたうえで、確率熱力学の枠組みで解析します。

図解エントロピー生成の推定と分解の流れ
  1. 01 対象

    自己回帰生成モデル

    過去の出力履歴の決定的な要約から次の出力をサンプリングする。Transformerからカルマンフィルターまでを同じ枠組みで扱う

  2. 02 性質

    非マルコフ過程

    出力の系列は履歴に依存し、マルコフ性を仮定した既存の熱力学の一般論をそのまま当てはめられない

  3. 03 定義

    エントロピー生成

    出力を生成する過程にどの程度一方向性(不可逆性)があるかを表す量

  4. 04 推定

    軌跡からの効率的推定

    指数オーダーの計算量を要せず、サンプリングした軌跡から推定できる

  5. 05 分解

    非負の寄与の和

    各時刻のゼロ以上の寄与の和に分解でき、各項はさらに圧縮損失とモデル不一致に分かれる

東京大学・JSTの共同発表(2026-11-06)と論文の抄録による。

発表によると、理論はエントロピー生成をサンプリングした軌跡から指数オーダーの計算量をかけずに推定する方法を示し、情報理論的な観点から、エントロピー生成を各時刻に対応するゼロ以上の寄与の和として表せることを導きました。各寄与はさらに、情報理論的な意味を持つ圧縮損失とモデル不一致に分かれます。線形ガウスの場合には理論がカルマンのイノベーション表現に帰着し、エントロピー生成を解析的な式で書けることも示されています。

LLMを使った実験では、事前学習済みのTransformerモデルGPT-2についてエントロピー生成を評価しました。トークン単位のエントロピー生成は文法上の作為(syntactic artifact)が支配的だった一方、文単位では、出来事が因果の順序に沿った文章集合のほうが、順序を壊した文章集合より大きくなる傾向が見られました。この結果は、より大きなモデルQwen3-4B-Baseによる再評価でも支持されたと論文は述べています。

「トークン単位のエントロピー生成は文法上の作為が支配的である一方、文単位のエントロピー生成は、非因果的な文章集合より因果的な順序の文章集合のほうが大きくなる傾向があります。この観察は、かなり大きなモデルQwen3-4B-Baseによる再評価によって裏付けられました。」

We find that the token-level entropy production is dominated by a syntactic artifact, while the sentence-level entropy production tends to be larger for causally ordered than for noncausal text sets. This observation is supported by a reevaluation with a substantially larger model, Qwen3-4B-Base.

論文抄録(PRX Intelligence、2026年11月5日掲載、訳は編集部)

共同発表は、この実験について文章に表れた出来事の順序関係がモデルに反映されていることを示唆する結果だと説明し、生成AIの内部に形成されると考えられる現実世界の表現、いわゆる「世界モデル」の定量的な理解につながることが期待されるとしています。研究はJSTの戦略的創造研究推進事業ERATOの支援を受けています。

論文が示したのは順序関係の反映を示唆する計測であって、LLMが完全な世界モデルを獲得したことの証明ではありません。エントロピー生成はモデルの消費電力や推論効率を直接測る指標でもありません。実験はGPT-2とQwen3-4B-Baseという限られたモデルでの概念実証であり、ほかの規模や言語への一般化、研究コードや実装の公開状況は、今回参照した資料からは確認できません。

出典

  1. 共同発表:自己回帰生成モデルの熱力学を構築~大規模言語モデルに内在する「世界モデル」の定量的理解に向けて~(東京大学・JST、2026-11-06)発表日、沙川貴大教授の所属、対象モデル(Transformerからカルマンフィルターまで)、エントロピー生成の効率的推定と非負寄与への分解、LLM実験の要旨、PRX Intelligenceオンライン版への掲載(2026-11-05米国東部標準時間)、ERATO支援。2026-11-10に全文取得
  2. Stochastic Thermodynamics for Autoregressive Generative Models: A Non-Markovian Perspective(Takahiro Sagawa、PRX Intelligence、2026-11-05)著者(単著)と掲載誌、DOI。抄録でGPT-2のトークン単位のエントロピー生成が文法上の作為で支配的である点、文単位は因果順序の文章集合で大きい傾向、Qwen3-4B-Baseでの再評価、線形ガウスでのカルマン表現への帰着、遡及推論による非負寄与への分解と圧縮損失・モデル不一致への分割を確認。2026-11-10にCrossRef経由で抄録取得

出典の確認日 2026.11.10

KEEP EXPLORING

あわせて読みたい記事と映像

企業・人物の記事一覧
  1. LangChain、3億ドルのシリーズCを調達し評価額30億ドル――CapitalG主導、エージェント運用基盤LangSmithの実行・改善・統制へ投資

    LangChainは2026年11月13日、既存投資家のCapitalGが主導するシリーズCで3億ドルを調達し、評価額が30億ドルになったと発表した。新規投資家のGICとDFJ Growth、既存投資家のIVPとSapphire Venturesが参加する。同社は資金の方向性として、エージェントを実行するAgent Runtime、性能を検査・改善するAgent Improvement、モデル・ツール・データの利用を統制するAgent Governanceの3領域を挙げ、11月20日にLangSmithの新機能発表を予定している。評価額は企業評価額であり、売上実績を示すものではない。

    記事を読む
  2. OpenAIのCFO、第3四半期売上約100億ドルと年率換算約500億ドルに言及――10月の報道値と一致、年末700億ドル目標は報道のまま

    OpenAIのサラ・フライヤーCFOは2026年11月10日、Yahoo Financeの取材で、7〜9月期の売上が前四半期比で約50%増の約100億ドルになったこと、年率換算のランレートが約500億ドルであることを述べた。9月末時点の年率換算売上を約500億ドルと伝えていたReuters・Financial Timesの10月8日報道と同じ水準を、会社側の発言として示した形だ。一方、年末までに700億ドル以上を目指すとするBloombergの10月9日報道については、今回の取材で会社側の確認は示されていない。損失面では、WSJが入手した資料に基づく報道で、第3四半期の調整後営業損失は約109億ドルに拡大した一方、調整後営業利益率は-109%に改善したと伝えられている。

    記事を読む
  3. Ardian、半導体投資プラットフォームで10億ユーロ調達 ファンド約7億ユーロと共同投資で構成

    フランスの民間投資会社Ardianは2026年11月9日、半導体バリューチェーン専門の投資プラットフォーム「Ardian Semiconductor」で総額10億ユーロを調達したと発表しました。内訳は約7億ユーロのファンドへのコミットメントと、それに加える共同投資です。プラットフォームは2023年10月の発足以来、フランスのVSORAやドイツのcentrothermなど4社にすでに投資しています。

    記事を読む