THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
すべてのニュース
1件新しい順
量子化したLLMエージェントの失敗を閉ループの教師修正で蒸留するSteerDistill、Tsinghua AIRらがarXivで公開 W4A16でBF16に1ポイント以内と報告(プレプリント)
清華大学AIR(Institute for AI Industry Research, Tsinghua University)のGenming Cui、Xiangyu Liら6名は2026年11月10日、量子化対応の蒸留手法SteerDistillをarXiv:2611.13410で公開した。低ビット量子化した学生エージェントが失敗したロールアウトの逸脱ターンに、BF16教師が誘導を与えて学生自身に修正させ、環境の実行結果で検証したうえで、その修正を学生に蒸留する。推論時には教師も誘導プロンプトも不要だ。3モデル×5エージェントベンチマークで、W4A16の5ベンチマーク平均スコアは最強の量子化比較手法を1.67〜2.18ポイント上回り、BF16との差は3モデルすべてで1ポイント以内と著者が報告する。τ²-Benchでは96 GPU時間をかけたQeRLを、32 GPU時間(学習GPU時間67%減)で1.84ポイント上回った。学習・評価コードはMITライセンスでGitHubに公開済み、重みは未公開。査読前のプレプリントで、数値は著者報告の域を出ない。