高品質な学習データが尽きたとき、よくある対処は同じデータを数エポック繰り返して学習することだが、反復は1回ごとに限界利益が下がる。Latent Feedbackは、同じ計算を別の用途に向ける選択肢として、各トークンの最上層の潜在状態を写像して次トークンの入力に戻す。論文の主な貢献は、この方式を「同じ計算量を追加エポックに使う通常のTransformer」と同一条件で比べた点にある。モデルサイズ、ユニークデータ量、エポック数のそれぞれで両モデルをチューニングし、同一の計算量・データ量で比較している。
「潜在状態フィードバック、すなわち各トークンの最上層状態を次トークンの入力に戻す方式は、その計算を費やすもう一つの方法だが、同じ計算をより多くのエポックに使う通常のTransformerと比較されたことはなかった。」
Latent feedback, which feeds each token's top-layer state into the next token's input, is another way to spend that compute, yet it has not been tested against a vanilla Transformer that spends the same compute on more epochs.
- 01 トークンtの入力
埋め込み+潜在状態
埋め込みに前トークンから戻された潜在状態が合成される
- 02 Transformerの層処理
attention+MLP
attentionが過去トークンを参照しながら層を重ねて計算する
- 03 最上層の潜在状態h
隠れ状態を取り出す
トークンtの最上層の隠れ状態を取り出す
- 04 写像W
次入力へ写像
潜在状態を次トークンの入力空間へ写像する
- 05 トークンt+1の入力
埋め込みに合成
写像した状態を埋め込みに合成して次の処理へ渡す
- 06 反復
各ステップで継続
生成の各ステップで同じ経路を繰り返し、情報が入力側に継続的に戻る
arXiv:2611.20404のabstractとFigure 1(a)の説明(2026-11-18確認)から作成。attentionによる過去トークンの参照は通常どおり残る。
実験設計と条件別の節約幅
実験は60M〜778Mパラメータのモデルを、非埋め込みパラメータ1個あたり12.5〜400ユニークトークン(UTPP)のデータで1〜4エポック、反復を含めれば最大1,600トークン/パラメータ(TPP)まで学習する設計だ。結果はデータと計算の両方向で現れる。ユニークデータを固定すれば、同じ損失により少ない計算で到達し、エポック数を固定すれば、より少ないユニークデータで到達する。2エポックの条件では、12.5 UTPPの少データ側ではLatent Feedbackの計算量が8%増える一方、100 UTPPでは15〜18%、400 UTPPでは44〜48%の計算量を節約した。データ削減の側では、1エポック・50 UTPPで271Mモデルが16%、778Mモデルが20%のユニークデータを節約し、3エポック・100 UTPPでは271Mで41%に達した。下流タスクの評価も同じ方向を示すという。
Latent Feedbackの計算量
- 12.5 UTPP
- 8%増
- 100 UTPP
- 15〜18%減
- 400 UTPP
- 44〜48%減
arXiv:2611.20404本文の記載(2026-11-18確認)。UTPPは非埋め込みパラメータ1個あたりのユニーク学習トークン数。増減は同じ損失に到達するために必要な計算量の差で、最大値の48%とデータ側の最大値47%は別々の比較条件のもので同時達成ではない。
スケーリング則と適用条件
実験格子を超える外挿として、著者は両モデルに単一のスケーリング則を当てはめた。Latent Feedbackは「v倍のパラメータを持つTransformer」として法に組み込まれ、60M〜271Mで当てはめた法は、保留した778Mの損失を0.3%以内、2モデル間の差を0.05%以内の誤差で予測したという。法は、節約幅がユニークデータと反復とともに増え続けることも予測する。適用条件には境界がある。ユニークデータがモデルサイズに比べて乏しい領域ではLatent Feedbackが不利で、論文は今日のモデルはその領域から遠いと述べる。データが計算より律速する状況では、同じサイズのモデルにとってLatent Feedbackが1 FLOPのより良い使い方になるというのが著者の結論である。
読むときの留保
論文はプレプリントで、査読と第三者による再現は確認できていない。最大48%と47%は別々の比較条件の最大値で、同時に達成される値ではない。条件によっては計算量が増える側(12.5 UTPPで8%増)もある。公開されたLoRM(Apache-2.0)は研究用テストベッドで、テスト・設定生成・学習コマンドを同梱するが、学習済みの大規模モデルの公開を伴わない。この結果は学習時の資源効率の報告で、推論の高速化や商用モデルへの直接適用を示すものではない。表紙の日付表記は2026年11月11日で、arXivのv1投稿時刻(2026年11月16日02:05 UTC)とずれている。
出典
- arXiv:2611.20404「Latent Feedback Is a Compute and Data Amplifier」(2026-11-16投稿)潜在状態フィードバックの仕組み、最大48%/47%の節約、実験範囲(60M〜778M・12.5〜400 UTPP)、スケーリング則の外挿精度(0.3%以内・差0.05%以内)
- GitHub ifm-ai/LoRM(README・LICENSE・Apache-2.0)研究用テストベッドLoRMの公開。テスト・設定生成・学習コマンドの同梱とApache-2.0の確認
- GitHub組織ifm-ai(Institute of Foundation Models)公開主体の組織名「Institute of Foundation Models」とサイトifm.aiの確認
出典の確認日 2026.11.18