THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
すべてのニュース
1件新しい順
Institute of Foundation Modelsら、潜在状態の再利用でLLM学習の計算量を最大48%・ユニークデータを最大47%削減と報告──スケーリング則は778Mの損失を0.3%以内で予測
Institute of Foundation Models(GitHub組織ifm-ai)、南カリフォルニア大学(USC)、カーネギーメロン大学(CMU)の所属表記をもつ研究者5人は2026年11月16日、各トークンの最上層の潜在状態を次トークンの入力に戻す「Latent Feedback」を、同じ計算量を追加エポックに使う通常のTransformerと比較する論文をarXivで公開した(arXiv:2611.20404)。60M〜778Mパラメータのモデルでユニークデータ量とエポック数を動かした実験では、同一損失に必要な計算量を最大48%、ユニークデータを最大47%節約できると報告している。60M〜271Mで当てはめたスケーリング則は、保留した778Mの損失を0.3%以内の誤差で予測したという。研究実装LoRMはApache-2.0で公開された。数値はすべて著者の実験報告で、プレプリントの段階にある。