THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
すべてのニュース
1件新しい順
RoShift、SiLU活性化を「ずらして回転」して疎性を引き出す──追加学習なしでLLMデコード最大1.72倍、MIT実装を公開
西江大学とサンタクララ大学の研究チームは2026年11月16日、学習をせずにSiLU系LLMの活性化を疎な表現へ変換する手法RoShiftの論文(arXiv:2611.20549)を公開し、実装をMITライセンスで公開した。SiLU後の活性化をチャネル別の中央値でゼロ付近へ移すlazy shiftと、活性化と重みの両方を考慮した回転を組み合わせ、補正演算をカーネルへ融合する。著者の測定では、50%疎性のデコードがRTX 5090で最大1.72倍、11タスク平均の精度劣化はdense比1.59ポイント(非一律配分・5モデル平均)で、TEALより平均1.60ポイント高かった。数値は著者の測定で、独立した再現はまだない。