NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

自己回帰型の動画拡散モデルは、生成したフレームを次の生成の入力に使う。新しい観測や指示に応じてフレームを作り直せるため、対話的な映像体験に向く構造だ。ただし既存のモデルは遅く、論文は人間とコンピュータの相互作用研究で報告されている遅延検出の閾値(約50〜60ミリ秒)を踏まえ、1フレーム50ミリ秒以下、すなわち毎秒20回以上の応答を対話性の目標に設定した。ここでいう遅延は、新しい入力信号の到達から、その効果を描く最初のRGBフレームが提示されるまでを指す。

「最先端モデルの推論パイプラインを計測すると、VAE復号やKVキャッシュ更新といった固定の実装詳細として扱われがちな処理が、エンドツーエンド推論遅延の半分以上を占めていた。」

We profile the inference pipeline of state-of-the-art models and find that operations often treated as fixed implementation details, such as VAE decoding and KV cache updates, in fact account for over half of end-to-end inference latency.

arXiv:2611.23226のabstract(2026-11-17投稿、2026-11-18確認)

遅延の正体は拡散本体だけではなかった

論文は執筆時点で最速の少ステップ自己回帰型モデルCausal Forcing++(CF++、Wan 2.1の1.3B基盤、2拡散ステップ)を単一のB200で計測した。1回のDiT評価は41.6ミリ秒で、KVキャッシュ更新がさらに1回分かかる。加えてVAEデコーダが147ミリ秒かかり、合計は271.8ミリ秒に達する。毎秒の応答に換算すると3.68回で、目標の20回に5.4倍届かない。壁時間に占める拡散サンプリングの割合は30%にとどまる。

図解271.8ミリ秒を36ミリ秒へ──推論パイプラインの3つの変更(論文Sec.3とリポジトリREADMEの記載)
  1. 01 拡散サンプリング

    41.6ms×2 → 約16ms×2

    各DiT評価をシステムレベルで最適化。16ms級の値はリポジトリREADMEの計測例

  2. 02 KVキャッシュ更新

    DiT評価1回分 → 約2ms

    軽量ネットワークが洗練後のキャッシュを予測。14Bでは約6msで約12倍

  3. 03 ピクセル復号

    VAE復号147ms → 1ms

    ConvNeXtベースの軽量ヘッド+線形1層に置換。約147倍で、パラメータは63.9M対73.3M

  4. 04 合計

    271.8ms → 36ms

    480p・単一B200で毎秒27.8回の応答(著者報告)

arXiv:2611.23226v1の本文(Sec.3.1〜3.4)とapple-aiml-research/ml-fastframesのREADME(2026-11-18確認)から作成。41.6ms・147ms・271.8msは論文のCF++計測、16ms級と合計35.4msはREADMEのFastFrames-S計測例(論文値は36ms)で、計測元が異なる。

置き換えには代償もある。VAEデコーダがモデルファミリーで共有できたのに対し、新しいピクセルデコーダはモデルごとの追加学習が必要だと論文は明記する。KVキャッシュ更新の代替は、凍結したDiTの特徴から層ごとの修復ヘッドが残差を予測する構成で、元の洗練パスの出力を教師として学習させた。

36ミリ秒と45ミリ秒の結果

結果として、1.3B構成のFastFrames-Sは480p・単一B200で1フレーム36ミリ秒(毎秒27.8回)に達した。8基に分散すると14ミリ秒(毎秒71.4回)になる。著者らの定性評価と同一プロンプト・同一シードでのVBench比較では、7.6倍遅いCF++と同等以上の画質と報告されている。14B構成のFastFrames-Lは単一GPUで158ミリ秒だが、8基のB200では45ミリ秒(毎秒22.2回)で、これは同パラメータ規模の最速のオープンソース自己回帰モデルの10.6倍にあたる。

図解1フレーム生成の遅延──論文Table 1(B200使用、おおむね480p、同一プロンプト・シード)
  • Causal Forcing++(最速の従来系)

    パラメータ
    1.3B
    1フレームの遅延
    272ms
  • CausVid

    パラメータ
    1.3B
    1フレームの遅延
    662ms
  • Self-Forcing

    パラメータ
    1.3B
    1フレームの遅延
    717ms
  • LongLive2.0

    パラメータ
    5.0B
    1フレームの遅延
    505ms
  • Krea-Realtime

    パラメータ
    14.3B
    1フレームの遅延
    1,675ms
  • Helios Distilled

    パラメータ
    14.3B
    1フレームの遅延
    2,544ms
  • FastFrames-S(単一GPU)

    パラメータ
    1.3B
    1フレームの遅延
    36ms
  • FastFrames-S(8基)

    パラメータ
    1.3B
    1フレームの遅延
    14ms
  • FastFrames-L(単一GPU)

    パラメータ
    14.3B
    1フレームの遅延
    158ms
  • FastFrames-L(8基)

    パラメータ
    14.3B
    1フレームの遅延
    45ms

arXiv:2611.23226v1のTable 1(2026-11-18確認)から作成。Self-Forcingの717msは早期フレームを含む系列平均で、FastFramesは定常状態の実測と論文が注記。パラメータ列はTable 1の表記(abstractは14B構成を14Bと呼ぶ)。

展開と限界

著者らはカメラ条件付き・物理条件付きの動画生成への応用も示した。公式リポジトリは、LingBot 1.3BをFastFrames方式で最適化した版が公式モデルより16倍速く、カメラ操作を滑らかに追従できるデモを同梱する。

一方で限界は明確だ。36ミリ秒という値は480p・B200という特定条件での著者報告であり、720pではFastFrames-Sが127ミリ秒、FastFrames-Lが116ミリ秒に増える。H100では構成に応じて25〜50%遅い。論文は査読前のプレプリントで、画質評価も著者自身の測定である。コードはAppleの著作権表記つきの独自条件(無改変の再配布は表記保持で可)で、重みのライセンス表記はapple-amlrだ。生成動画の再生は16fpsに対し、応答率28RPSは生成速度を示す別の値で、両者を混同してはいけない。

出典

  1. arXiv:2611.23226「FastFrames: Video Generation at Interactive Latency」(2026-11-17投稿、2026-11-18にabstractとHTML本文を確認)36ms/27.8RPSと45ms/22.2RPS、7.6倍の品質比較、推論内訳(41.6ms/147ms/271.8ms)、147倍と20倍・12倍の置換、50ms・20RPSの目標と遅延の定義、Table 1・Table 2の各値、著者名
  2. FastFramesプロジェクトページ(2026-11-18確認)著者と所属(Apple、Gene Chou氏はCornell大学併記)
  3. GitHub apple-aiml-research/ml-fastframes(README・LICENSE、2026-11-18確認、リポジトリは2026-11-17作成)公式実装の公開、FastFrames-Sの計測例(合計35.4ms)、832×480・81フレーム・16fps、LingBot 1.3Bの16倍最適化、コードのApple独自ライセンス
  4. Hugging Face apple/FastFrames-S(APIで確認、2026-11-16作成)1.3B構成の重み公開。ライセンス表記apple-amlr、ベースはWan-AI/Wan2.1-T2V-1.3B
  5. Hugging Face apple/FastFrames-L(APIで確認、2026-11-16作成)14B構成の重み公開。ライセンス表記apple-amlr、ベースはWan-AI/Wan2.1-T2V-14B

出典の確認日 2026.11.18

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. Apple Intelligence、中国でiPad・Mac向けの生成AI登録を完了 提供開始は未定

    Appleの生成AIサービス「Apple智能(Apple Intelligence)」について、上海のインターネット規制当局は2026年11月9日、Apple製タブレットとノートパソコンの2つの用途が中国での登録(備案)を完了したと公表しました。登録済みの用途はiPhone、タブレット、ノートパソコンの3種類になります。Appleは10月31日の公式発表で、iPhone向け機能の開発者テストを11月4日から、一般提供を12月のiOS 27.3で予定すると説明しており、iPadとMac向けの提供時期は発表されていません。

    記事を読む
  2. Appleの研究チームがHALOを公開 手続き生成した1000の住宅から視覚・言語・動作データを合成し、未知の実環境360試行で成功率91%を報告

    Appleの研究チームは2026年11月4日、手続き生成した1000の住宅で視覚・言語・動作の学習データを合成し、ヒューマノイドロボットの自律行動を学ぶシステムHALOの論文をarXivに公開した。椅子に座る、名前で指定された物体への移動、半開きのドア通過、机の下のくぐり、箱押しを組み合わせた行動を、実住宅を一度も見ずに学習し、未知の実環境6か所・360試行で成功率91%を報告する。訓練環境を1000軒に増やすと成功率が1軒の43%から84%に上がることをアブレーションで示し、データ生成・学習・実機展開のコードをGitHubで公開した。数値は著者による報告で、第三者による実機再現はまだない。

    記事を読む
  3. Apple、Keynote・Pages・NumbersがMCP対応へ――外部AIエージェントが文書を読み書き・操作、11月提供予定

    Appleは2026年10月27日、クリエイティブアプリ集合「Apple Creator Studio」の新機能を発表した。Keynote・Pages・Numbersに、Apple製モデルとOpenAIモデルを組み合わせ、開いている書類の文脈を理解するAIアシスタント(ベータ)を導入する。3アプリはModel Context Protocol(MCP)にも対応し、外部のAIエージェントやツールがアプリ内のコンテンツを読み取り、編集し、自動アクションを実行できるようになるとしている。アップデートは2026年11月にApp Storeで提供予定で、既存加入者は無料。ただしアシスタントは当初米国英語のみ、MCPはmacOS 27以降が必要である。

    記事を読む