NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Institute of Foundation Modelsら、潜在状態の再利用でLLM学習の計算量を最大48%・ユニークデータを最大47%削減と報告──スケーリング則は778Mの損失を0.3%以内で予測

Institute of Foundation Models(GitHub組織ifm-ai)、南カリフォルニア大学(USC)、カーネギーメロン大学(CMU)の所属表記をもつ研究者5人は2026年11月16日、各トークンの最上層の潜在状態を次トークンの入力に戻す「Latent Feedback」を、同じ計算量を追加エポックに使う通常のTransformerと比較する論文をarXivで公開した(arXiv:2611.20404)。60M〜778Mパラメータのモデルでユニークデータ量とエポック数を動かした実験では、同一損失に必要な計算量を最大48%、ユニークデータを最大47%節約できると報告している。60M〜271Mで当てはめたスケーリング則は、保留した778Mの損失を0.3%以内の誤差で予測したという。研究実装LoRMはApache-2.0で公開された。数値はすべて著者の実験報告で、プレプリントの段階にある。

高品質な学習データが尽きたとき、よくある対処は同じデータを数エポック繰り返して学習することだが、反復は1回ごとに限界利益が下がる。Latent Feedbackは、同じ計算を別の用途に向ける選択肢として、各トークンの最上層の潜在状態を写像して次トークンの入力に戻す。論文の主な貢献は、この方式を「同じ計算量を追加エポックに使う通常のTransformer」と同一条件で比べた点にある。モデルサイズ、ユニークデータ量、エポック数のそれぞれで両モデルをチューニングし、同一の計算量・データ量で比較している。

「潜在状態フィードバック、すなわち各トークンの最上層状態を次トークンの入力に戻す方式は、その計算を費やすもう一つの方法だが、同じ計算をより多くのエポックに使う通常のTransformerと比較されたことはなかった。」

Latent feedback, which feeds each token's top-layer state into the next token's input, is another way to spend that compute, yet it has not been tested against a vanilla Transformer that spends the same compute on more epochs.

arXiv:2611.20404「Latent Feedback Is a Compute and Data Amplifier」のabstract(2026-11-16投稿、2026-11-18確認)
図解Latent Feedbackの情報の流れ
  1. 01 トークンtの入力

    埋め込み+潜在状態

    埋め込みに前トークンから戻された潜在状態が合成される

  2. 02 Transformerの層処理

    attention+MLP

    attentionが過去トークンを参照しながら層を重ねて計算する

  3. 03 最上層の潜在状態h

    隠れ状態を取り出す

    トークンtの最上層の隠れ状態を取り出す

  4. 04 写像W

    次入力へ写像

    潜在状態を次トークンの入力空間へ写像する

  5. 05 トークンt+1の入力

    埋め込みに合成

    写像した状態を埋め込みに合成して次の処理へ渡す

  6. 06 反復

    各ステップで継続

    生成の各ステップで同じ経路を繰り返し、情報が入力側に継続的に戻る

arXiv:2611.20404のabstractとFigure 1(a)の説明(2026-11-18確認)から作成。attentionによる過去トークンの参照は通常どおり残る。

実験設計と条件別の節約幅

実験は60M〜778Mパラメータのモデルを、非埋め込みパラメータ1個あたり12.5〜400ユニークトークン(UTPP)のデータで1〜4エポック、反復を含めれば最大1,600トークン/パラメータ(TPP)まで学習する設計だ。結果はデータと計算の両方向で現れる。ユニークデータを固定すれば、同じ損失により少ない計算で到達し、エポック数を固定すれば、より少ないユニークデータで到達する。2エポックの条件では、12.5 UTPPの少データ側ではLatent Feedbackの計算量が8%増える一方、100 UTPPでは15〜18%、400 UTPPでは44〜48%の計算量を節約した。データ削減の側では、1エポック・50 UTPPで271Mモデルが16%、778Mモデルが20%のユニークデータを節約し、3エポック・100 UTPPでは271Mで41%に達した。下流タスクの評価も同じ方向を示すという。

図解同一損失での計算量の差(2エポック条件、著者報告)
  • Latent Feedbackの計算量

    12.5 UTPP
    8%増
    100 UTPP
    15〜18%減
    400 UTPP
    44〜48%減

arXiv:2611.20404本文の記載(2026-11-18確認)。UTPPは非埋め込みパラメータ1個あたりのユニーク学習トークン数。増減は同じ損失に到達するために必要な計算量の差で、最大値の48%とデータ側の最大値47%は別々の比較条件のもので同時達成ではない。

スケーリング則と適用条件

実験格子を超える外挿として、著者は両モデルに単一のスケーリング則を当てはめた。Latent Feedbackは「v倍のパラメータを持つTransformer」として法に組み込まれ、60M〜271Mで当てはめた法は、保留した778Mの損失を0.3%以内、2モデル間の差を0.05%以内の誤差で予測したという。法は、節約幅がユニークデータと反復とともに増え続けることも予測する。適用条件には境界がある。ユニークデータがモデルサイズに比べて乏しい領域ではLatent Feedbackが不利で、論文は今日のモデルはその領域から遠いと述べる。データが計算より律速する状況では、同じサイズのモデルにとってLatent Feedbackが1 FLOPのより良い使い方になるというのが著者の結論である。

読むときの留保

論文はプレプリントで、査読と第三者による再現は確認できていない。最大48%と47%は別々の比較条件の最大値で、同時に達成される値ではない。条件によっては計算量が増える側(12.5 UTPPで8%増)もある。公開されたLoRM(Apache-2.0)は研究用テストベッドで、テスト・設定生成・学習コマンドを同梱するが、学習済みの大規模モデルの公開を伴わない。この結果は学習時の資源効率の報告で、推論の高速化や商用モデルへの直接適用を示すものではない。表紙の日付表記は2026年11月11日で、arXivのv1投稿時刻(2026年11月16日02:05 UTC)とずれている。

出典

  1. arXiv:2611.20404「Latent Feedback Is a Compute and Data Amplifier」(2026-11-16投稿)潜在状態フィードバックの仕組み、最大48%/47%の節約、実験範囲(60M〜778M・12.5〜400 UTPP)、スケーリング則の外挿精度(0.3%以内・差0.05%以内)
  2. GitHub ifm-ai/LoRM(README・LICENSE・Apache-2.0)研究用テストベッドLoRMの公開。テスト・設定生成・学習コマンドの同梱とApache-2.0の確認
  3. GitHub組織ifm-ai(Institute of Foundation Models)公開主体の組織名「Institute of Foundation Models」とサイトifm.aiの確認

出典の確認日 2026.11.18

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む