自己回帰型の動画拡散モデルは、生成したフレームを次の生成の入力に使う。新しい観測や指示に応じてフレームを作り直せるため、対話的な映像体験に向く構造だ。ただし既存のモデルは遅く、論文は人間とコンピュータの相互作用研究で報告されている遅延検出の閾値(約50〜60ミリ秒)を踏まえ、1フレーム50ミリ秒以下、すなわち毎秒20回以上の応答を対話性の目標に設定した。ここでいう遅延は、新しい入力信号の到達から、その効果を描く最初のRGBフレームが提示されるまでを指す。
「最先端モデルの推論パイプラインを計測すると、VAE復号やKVキャッシュ更新といった固定の実装詳細として扱われがちな処理が、エンドツーエンド推論遅延の半分以上を占めていた。」
We profile the inference pipeline of state-of-the-art models and find that operations often treated as fixed implementation details, such as VAE decoding and KV cache updates, in fact account for over half of end-to-end inference latency.
遅延の正体は拡散本体だけではなかった
論文は執筆時点で最速の少ステップ自己回帰型モデルCausal Forcing++(CF++、Wan 2.1の1.3B基盤、2拡散ステップ)を単一のB200で計測した。1回のDiT評価は41.6ミリ秒で、KVキャッシュ更新がさらに1回分かかる。加えてVAEデコーダが147ミリ秒かかり、合計は271.8ミリ秒に達する。毎秒の応答に換算すると3.68回で、目標の20回に5.4倍届かない。壁時間に占める拡散サンプリングの割合は30%にとどまる。
- 01 拡散サンプリング
41.6ms×2 → 約16ms×2
各DiT評価をシステムレベルで最適化。16ms級の値はリポジトリREADMEの計測例
- 02 KVキャッシュ更新
DiT評価1回分 → 約2ms
軽量ネットワークが洗練後のキャッシュを予測。14Bでは約6msで約12倍
- 03 ピクセル復号
VAE復号147ms → 1ms
ConvNeXtベースの軽量ヘッド+線形1層に置換。約147倍で、パラメータは63.9M対73.3M
- 04 合計
271.8ms → 36ms
480p・単一B200で毎秒27.8回の応答(著者報告)
arXiv:2611.23226v1の本文(Sec.3.1〜3.4)とapple-aiml-research/ml-fastframesのREADME(2026-11-18確認)から作成。41.6ms・147ms・271.8msは論文のCF++計測、16ms級と合計35.4msはREADMEのFastFrames-S計測例(論文値は36ms)で、計測元が異なる。
置き換えには代償もある。VAEデコーダがモデルファミリーで共有できたのに対し、新しいピクセルデコーダはモデルごとの追加学習が必要だと論文は明記する。KVキャッシュ更新の代替は、凍結したDiTの特徴から層ごとの修復ヘッドが残差を予測する構成で、元の洗練パスの出力を教師として学習させた。
36ミリ秒と45ミリ秒の結果
結果として、1.3B構成のFastFrames-Sは480p・単一B200で1フレーム36ミリ秒(毎秒27.8回)に達した。8基に分散すると14ミリ秒(毎秒71.4回)になる。著者らの定性評価と同一プロンプト・同一シードでのVBench比較では、7.6倍遅いCF++と同等以上の画質と報告されている。14B構成のFastFrames-Lは単一GPUで158ミリ秒だが、8基のB200では45ミリ秒(毎秒22.2回)で、これは同パラメータ規模の最速のオープンソース自己回帰モデルの10.6倍にあたる。
Causal Forcing++(最速の従来系)
- パラメータ
- 1.3B
- 1フレームの遅延
- 272ms
CausVid
- パラメータ
- 1.3B
- 1フレームの遅延
- 662ms
Self-Forcing
- パラメータ
- 1.3B
- 1フレームの遅延
- 717ms
LongLive2.0
- パラメータ
- 5.0B
- 1フレームの遅延
- 505ms
Krea-Realtime
- パラメータ
- 14.3B
- 1フレームの遅延
- 1,675ms
Helios Distilled
- パラメータ
- 14.3B
- 1フレームの遅延
- 2,544ms
FastFrames-S(単一GPU)
- パラメータ
- 1.3B
- 1フレームの遅延
- 36ms
FastFrames-S(8基)
- パラメータ
- 1.3B
- 1フレームの遅延
- 14ms
FastFrames-L(単一GPU)
- パラメータ
- 14.3B
- 1フレームの遅延
- 158ms
FastFrames-L(8基)
- パラメータ
- 14.3B
- 1フレームの遅延
- 45ms
arXiv:2611.23226v1のTable 1(2026-11-18確認)から作成。Self-Forcingの717msは早期フレームを含む系列平均で、FastFramesは定常状態の実測と論文が注記。パラメータ列はTable 1の表記(abstractは14B構成を14Bと呼ぶ)。
展開と限界
著者らはカメラ条件付き・物理条件付きの動画生成への応用も示した。公式リポジトリは、LingBot 1.3BをFastFrames方式で最適化した版が公式モデルより16倍速く、カメラ操作を滑らかに追従できるデモを同梱する。
一方で限界は明確だ。36ミリ秒という値は480p・B200という特定条件での著者報告であり、720pではFastFrames-Sが127ミリ秒、FastFrames-Lが116ミリ秒に増える。H100では構成に応じて25〜50%遅い。論文は査読前のプレプリントで、画質評価も著者自身の測定である。コードはAppleの著作権表記つきの独自条件(無改変の再配布は表記保持で可)で、重みのライセンス表記はapple-amlrだ。生成動画の再生は16fpsに対し、応答率28RPSは生成速度を示す別の値で、両者を混同してはいけない。
出典
- arXiv:2611.23226「FastFrames: Video Generation at Interactive Latency」(2026-11-17投稿、2026-11-18にabstractとHTML本文を確認)36ms/27.8RPSと45ms/22.2RPS、7.6倍の品質比較、推論内訳(41.6ms/147ms/271.8ms)、147倍と20倍・12倍の置換、50ms・20RPSの目標と遅延の定義、Table 1・Table 2の各値、著者名
- FastFramesプロジェクトページ(2026-11-18確認)著者と所属(Apple、Gene Chou氏はCornell大学併記)
- GitHub apple-aiml-research/ml-fastframes(README・LICENSE、2026-11-18確認、リポジトリは2026-11-17作成)公式実装の公開、FastFrames-Sの計測例(合計35.4ms)、832×480・81フレーム・16fps、LingBot 1.3Bの16倍最適化、コードのApple独自ライセンス
- Hugging Face apple/FastFrames-S(APIで確認、2026-11-16作成)1.3B構成の重み公開。ライセンス表記apple-amlr、ベースはWan-AI/Wan2.1-T2V-1.3B
- Hugging Face apple/FastFrames-L(APIで確認、2026-11-16作成)14B構成の重み公開。ライセンス表記apple-amlr、ベースはWan-AI/Wan2.1-T2V-14B
出典の確認日 2026.11.18