大規模言語モデルの逐次生成では、トークンごとの重みの読み出しがメモリー帯域の壁になりやすい。活性化疎性は、ゼロの成分に対応する重みの読み出しと演算を飛ばしてこの壁を下げる方法だ。ただしReLU系のモデルはゼロが自然に増えるのに対し、SiLUやGELUを使う現代のLLMは値をほぼゼロに戻さない。TEALやCATSのような閾値方式で無理に疎にすると、出力に効く成分まで消えて精度が落ちる。
「RoShiftは、SiLU活性化分布をゼロ付近へ再中心化し、補正をFFNの末尾へ送るlazy shiftを導入することで、追加の疎性を獲得する。」
RoShift introduces lazy shift, which recenters SiLU activation distributions around zero and defers correction to the end of the FFN to obtain additional sparsity.
ずらして回転させ、補正は末尾にまとめる
西江大学とサンタクララ大学の研究チームは2026年11月16日、この問題への手法RoShiftの論文をarXivで公開した。lazy shiftはSiLU後の活性化をチャネルごとの中央値でゼロ付近へ移し、ゼロになった成分を疎化の対象にする。動かした分のずれはすぐには戻さず、FFN末尾の演算に回してから一括で直す。回転は活性化と重みの両方の統計を出力誤差に反映して係数を探し、層ごとに全文のパープレキシティが下がる候補だけを採用する。
変換しただけでは疎性は速度にならない。そこで論文は、シフトと回転に必要な補正をFFN末尾の行列へ融合し、B128単位のTop-K選択と疎GEMVカーネルを組み合わせたCUDAとTritonの実装を公開した。著者の記載では、補正と層間の遷移行列で平均14.04%の計算が増え、LMヘッドの疎化で10.49%減るため、差し引きは3.55%だ。測定された速度にはこのオーバーヘッドが含まれる。
- 01 再中心化
lazy shift
SiLU後の活性化をチャネル別中央値でゼロ付近へ移し、補正をFFN末尾へ送る
- 02 回転
重みも見るQ
活性化と重みの統計から回転係数を探り、全文のPPLが下がる候補だけ採用する
- 03 疎化
B128 Top-K
ブロック単位でTop-Kを選び、疎GEMVカーネルで重みの読み出しを飛ばす
- 04 融合
補正を末尾へ
シフトと回転の補正をFFN末尾の行列にまとめ、純増3.55%の計算に抑える
arXiv:2611.20549の本文とGitHubリポジトリのREPRODUCIBILITY.md(2026-11-17確認)から作成。純増3.55%は平均14.04%の補正コストからLMヘッド疎化の10.49%を引いた値。
精度はTEALより平均1.60〜3.29ポイント上回る
評価はMMLU、ARC-Easy、ARC-Challenge、BoolQ、PIQA、WinoGrande、CommonsenseQA、BBH、GSM8K、MATH-500、MBPPの11タスクで、対象モデルはLlama-3.1-8B、Llama-2-7B、Mistral-7B、Qwen2.5-7B、Qwen3-8B-Baseの5つだ。論文の測定では、非一律配分の50%疎性でTEALより平均1.60ポイント、60%で3.29ポイント高い。LaRoSA比では3.76と8.76ポイント、WINA比では2.22と5.66ポイントの差だった。一律配分に限ると、5モデル平均のdenseからの劣化は50%で1.59ポイント、60%で3.40ポイントになり、非一律配分はこの損失をさらに減らす。
疎性40%
- TEAL
- 62.03(−2.05)
- RoShift
- 62.70(−1.38)
疎性50%
- TEAL
- 59.84(−4.24)
- RoShift
- 61.78(−2.30)
疎性60%
- TEAL
- 55.00(−9.08)
- RoShift
- 59.09(−4.99)
arXiv:2611.20549の表20(2026-11-17確認)。一律(uniform)配分・11タスク平均で、括弧内はdenseからの変化。dense平均は64.08。非一律配分ではRoShiftの損失が1.17/1.59/3.40ポイントに減る(表26)。
速度は最大1.72倍、VRAMは3割増
デコード速度はRTX 5090とJetson AGX Orinで、FP16・バッチサイズ1・一律配分の条件で測った。RTX 5090の50%疎性では5モデルの最高がMistral-7Bの1.72倍(94.66→162.66トークン/秒)で、75%では2.60倍まで伸びる。Orinでも50%で最大1.69倍、75%で2.73倍だ。プロンプトの一括処理(prefill)はdenseのままで、疎化はキャッシュした逐次生成に効く。一方、遷移行列と補正行列の保存のため、Llama-3.1-8B・50%疎性・4KコンテキストのピークVRAMはdense比で29.31%増える。
Llama-3.1-8B
- 疎性25%
- 1.19倍
- 疎性50%
- 1.59倍
- 疎性75%
- 2.37倍
Llama-2-7B
- 疎性25%
- 1.16倍
- 疎性50%
- 1.52倍
- 疎性75%
- 2.25倍
Mistral-7B
- 疎性25%
- 1.28倍
- 疎性50%
- 1.72倍
- 疎性75%
- 2.60倍
arXiv:2611.20549の表4(2026-11-17確認)。FP16・バッチサイズ1・一律配分。Qwen2.5-7Bは1.34/1.65/2.48倍。Jetson AGX Orinでは50%で最大1.69倍、75%で2.73倍。
MITライセンスの実装と再現手順
著者のGitHubリポジトリはMITライセンスで、calibration、疎性配分、回転探索、精度評価、GPUデコードの実装を含む。REPRODUCIBILITY.mdには、5モデル×一律・非一律×40/50/60%の30プロファイル、calibrationデータの構成(C4、Alpaca、MetaMathQA、CodeAlpaca)、FP16・dense prefill 1024・teacher-forced decode 128という速度測定の条件まで書かれている。動作環境はLinux/WSL、Python 3.12、PyTorch 2.10、CUDA 12.8で、初期calibrationには80GiB以上の空き容量を求める。Jetson Orin向けの手順も別にある。
読むときの留保
数値はすべて著者の測定で、arXivのプレプリントであり、独立した再現や査読はまだない。1.72倍は5モデル中の最高値で、モデルと疎性の条件で速度は変わる。50%疎性はパラメーターの50%削減でもVRAM半減でもなく、prefillの高速化も含まない。精度比較ではTEALとLaRoSAはdenseなLMヘッドを使い、RoShiftは別途calibrationした疎なLMヘッドを使うという条件の違いもある。量子化や長いコンテキスト、バッチ処理との組み合わせは未検証で、llama.cppやvLLMのような推論エンジンへの統合も示されていない。
出典
- arXiv:2611.20549 要約ページ要旨、著者(Geunsoo Song、Jiwon Seo、Hoeseok Yang、Youngmin Yi)、公開日2026-11-16
- arXiv:2611.20549 HTML本文所属(Sogang University、Santa Clara University)、TEAL比+1.60/+3.29ポイント、表3・表4・表20・表26の数値、VRAM29.31%増、11タスクの評価範囲
- GitHub hulahula3247/RoShift README対応モデル5種、CUDA/Tritonカーネルとcalibrationの構成、MITライセンス、動作環境と80GiB要件
- 同リポジトリ REPRODUCIBILITY.md30プロファイル、calibrationデータ構成、FP16・バッチサイズ1の速度測定条件とベースライン設定
- 同リポジトリ LICENSEMITライセンスの原文(Copyright (c) 2026 RoShift contributors)
出典の確認日 2026.11.17