動画生成モデルは映像として説得力が高い一方で、物体の消失や増殖、重力や接触に合わない運動といった物理・因果の不整合を残すことが知られている。論文はこの問題を、物理の振る舞いを系統的に扱える学習動画が得にくいこと、そして品質判定・修正ペア・条件を変えた比較映像のいずれも入手しにくいことに帰着させ、LLMが持つ物理知識を「そのまま動画生成の指示に使う」のではなく、シミュレータで検証できる形に置き換えてから動画に反映させる枠組みを提案する。著者らはこれを、人手を最小限にして動画生成モデルが自分の学習データを作り改善へつなげる再帰的自己改善(RSI)への一段として位置付ける。なお、RSIという言葉は方向性を示すもので、論文自身が完全な訓練ループの構築を今後の課題として明記している。
仕組み: LLMの生成・選別・修復をハーネスで束ねる
PhysLoopはテキストの要求(画像や動画の参照は任意)を受け取り、生成または修復済みの動画を、タスク仕様と実行記録とともに返す。内部は、要求をタスク仕様に変換するタスクマネージャー、資産の管理と実行可能なシミュレータ場面の構築を行うモジュール、シミュレータの実行、検証器、動画精緻化(リファイナー)で構成され、コードエージェントがこれらの道具を使って要求を具体化する。重要な順序として、見た目の精緻化の前にシミュレーションの検証を行い、精緻化の後にもう一度最終動画を検証する。既定の構成はエージェントのバックボーンにGPT-6 Astra、動画精緻化にSeedance 2.5を使い、比較実験ではバックボーンにClaude Opus 5やKimi K3、精緻化にMiniMax H3やGemini Omni 1.1 Flashも試している。
- 01 入力
テキスト要求
画像・動画の参照を添えられる。出力にはタスク仕様と実行記録が付く。
- 02 場面構築
シミュレータ場面
コードエージェントが資産を取得し、実行可能な場面を構築する。
- 03 検証(1回目)
シミュレーション検証
見た目の精緻化に先立って、物理イベントが仕様どおりかを確かめる。
- 04 精緻化
動画リファイナー
既定はSeedance 2.5。シミュレーションに沿った見た目へ仕上げる。
- 05 検証(2回目)
最終動画の検証
精緻化後の動画を改めて検査してから受け入れる。
段階の内容と順序は論文3.1節。既定のバックボーンはGPT-6 Astra、精緻化はSeedance 2.5(5.1節)。
評価結果: 修復は86.00%、単体モデルは20%未満
評価は生成(PhysLoop-Gen、100タスク)、修復(PhysLoop-Repair、50タスク)、外部ベンチマークPhysics-IQ Verifiedの3面で行った。生成ではPhysLoopのタスク成功率が85.00%で、単体のSeedance 2.5の73.00%を上回った。人間評価(5点満点)では物理妥当性4.06対3.80、因果整合4.12対3.80とPhysLoopが高く、視覚リアリズムは単体の4.29に対して3.72と下回った。著者らは差が材質の見た目や背景に現れやすいと説明する。修復ではPhysLoopが86.00%で、最も高い単体モデル(Seedance 2.5)の19.33%に対して3種すべてが20%未満だった。修復の成功には、物理エラーの解消に加えて、元の映像の残す部分の保持と前後の出来事とのつながりが要求され、単体の生成では同時達成が難しいとしている。
PhysLoop(既定)
- 生成成功率
- 85.00%
- 修復成功率
- 86.00%
- 物理妥当性
- 4.06
- 視覚リアリズム
- 3.72
- Physics-IQ
- 52.06
Seedance 2.5(単体)
- 生成成功率
- 73.00%
- 修復成功率
- 19.33%
- 物理妥当性
- 3.80
- 視覚リアリズム
- 4.29
- Physics-IQ
- 48.07
既定はGPT-6 Astra+Seedance 2.5。成功率はPhysLoop-Gen 100タスク・PhysLoop-Repair 50タスク、人間評価は5点満点でPhysLoop-Gen限定、Physics-IQは外部ベンチマークPhysics-IQ Verified。どちらの方法も動画生成モデルの呼び出しはタスクあたり5回までの同一条件。数値は著者らの評価。
精緻化の寄与をみる切断実験では、リファイナーなしでも生成成功率80.00%に達し、Seedance 2.5を加えると生成85.00%、修復60.67%から86.00%へ、視覚リアリズムの評価も2.59から3.72へ上がった。つまり場面構築とシミュレーションだけで要求の多くは実現でき、精緻化は見た目と完遂率の双方を押し上げる。一方、Physics-IQ Verifiedでは既定構成が52.06で単体Seedance 2.5の48.07を上回るものの、バックボーンをClaude Opus 5に替えた構成が比較内最高の53.75で、生成・修復の成功率は既定構成より低かった。著者らは、タスクの完遂と「記録された物理の続きとの一致」が別の側面を測っていると解釈する。
データセット: 記載と現状の差
論文は、多様な屋内外の場面をカバーする10万本の動画(PhysLoop-100K)と生成ツール、評価データセット2種の公開を記載している。PhysLoop-100Kは2.5K(約2,500件)の個別の物理イベントから平均40本ずつを3〜5視点で撮った構成で、質量や初速などのパラメータを2〜4段階で変え、運動学、剛体、磁性、流体、柔軟・弾性材料、破砕といった区分を含む。深度マップ、インスタンスセグメンテーション、物体状態も付くが、精緻化後の動画とはピクセル単位で整列しない。PhysLoop-Repairの修復対象はSeedanceシリーズ、MiniMax H3、Gemini Omni 1.1 Flashの異なるモデルが生成した映像から選ばれている。
プロジェクトページ公開
プロジェクトページとコミュニティのリンクを公開(ページ内News)。
arXiv投稿・リポジトリ作成
arXiv:2611.16748を投稿。GitHubリポジトリも同日に作成(APIの作成日時)。
READMEのみで更新
最終push。コード公開は「会社方針の審査待ち」とREADMEに記載。
データ未公開を確認
プロジェクトページのOPEN DATA表で3つのデータ資産すべてが「Not released」。Hugging Faceでの公開はplanned。
日付は各一次資料の記載とGitHub APIのタイムスタンプ。「未公開」は2026-11-14時点の確認。
確認できていないこと
成果は査読前のプレプリントで、成功率と評価値は著者ら自身の測定であり、第三者の再現や独立検証は今回確認できていない。論文が「公開する」と記載するコード・動画10万本・評価データ2種は、2026年11月14日時点でリポジトリに実ファイルがなく、プロジェクトページも「Not released」と表示している。ライセンスの確定表記もリポジトリ上で見当たらない。LLMの物理知識は物理シミュレータによる保証と同じではなく、著者ら自身が、シミュレータや資産・検証条件の被覆への依存、未観測の幾何や材質への仮定、精緻化が新たな誤りを持ち込む可能性、後続の出来事が既に変わった場合に局所置換では足りない場合を限界として列挙している。また、完全なRSI訓練ループには弱点発見から候補生成、検証・修復、データ選択、モデル更新までの連続的な接続が必要で、独立評価や誤判定の追跡、コスト管理が課題だと論文は述べている。
「PhysLoopを完全なRSI訓練ループへ拡張するには、弱点の発見、候補の生成、検証と修復、データ選択、モデル更新を、連続する複数回のラウンドにわたって接続する必要がある。」
Extending PhysLoop to a complete RSI training loop requires connecting weakness discovery, candidate generation, verification and repair, data selection, and model updates across successive rounds.
出典
- arXiv: PhysLoop: Harnessing LLMs' Physics Awareness for Self-Improving Video Generation Models投稿日(2026-11-12)、著者14名と所属(北京大学・ByteDance Seed・UCSB・MIT・ハンブルク大学・杭州師範大学)、要約の公開記載と外部ベンチマークの使用。
- 同論文のHTML本文(arXiv)3.1節の処理の流れと検証順序、4章のデータセット構成(100K動画・2.5Kイベント・視点3〜5・パラメータ2〜4)、5章の評価数値(85%/73%、86.00%/19.33%、4.06/3.72、52.06/48.07、53.75)、6章の限界と引用文。
- GitHub: DAGroup-PKU/PhysLoopリポジトリ作成(2026-11-12T12:08Z)と最終push(2026-11-13T05:12Z)、READMEのみの構成、「The code release is pending company policy review」の記載、Todo(再現パッケージ・評価データ・学習データ)が未消化であること。
- PhysLoop Project Page結果表の再確認(既定構成85.00%/86.00%/52.06、単体Seedance 2.5の73.00%/19.33%/48.07)、OPEN DATA表の「Not released」表示とHugging Face(planned)、Newsの2026.10.18。
- arXiv: PhysAlign: Physics-Coherent Image-to-Video Generation through Feature and 3D Representation Alignment背景となる別アプローチの存在(Issueの背景記述の確認)。本稿の数値には使用していない。
出典の確認日 2026.11.14