NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

RoShift、SiLU活性化を「ずらして回転」して疎性を引き出す──追加学習なしでLLMデコード最大1.72倍、MIT実装を公開

西江大学とサンタクララ大学の研究チームは2026年11月16日、学習をせずにSiLU系LLMの活性化を疎な表現へ変換する手法RoShiftの論文(arXiv:2611.20549)を公開し、実装をMITライセンスで公開した。SiLU後の活性化をチャネル別の中央値でゼロ付近へ移すlazy shiftと、活性化と重みの両方を考慮した回転を組み合わせ、補正演算をカーネルへ融合する。著者の測定では、50%疎性のデコードがRTX 5090で最大1.72倍、11タスク平均の精度劣化はdense比1.59ポイント(非一律配分・5モデル平均)で、TEALより平均1.60ポイント高かった。数値は著者の測定で、独立した再現はまだない。

大規模言語モデルの逐次生成では、トークンごとの重みの読み出しがメモリー帯域の壁になりやすい。活性化疎性は、ゼロの成分に対応する重みの読み出しと演算を飛ばしてこの壁を下げる方法だ。ただしReLU系のモデルはゼロが自然に増えるのに対し、SiLUやGELUを使う現代のLLMは値をほぼゼロに戻さない。TEALやCATSのような閾値方式で無理に疎にすると、出力に効く成分まで消えて精度が落ちる。

「RoShiftは、SiLU活性化分布をゼロ付近へ再中心化し、補正をFFNの末尾へ送るlazy shiftを導入することで、追加の疎性を獲得する。」

RoShift introduces lazy shift, which recenters SiLU activation distributions around zero and defers correction to the end of the FFN to obtain additional sparsity.

arXiv:2611.20549「Abstract」(2026-11-16公開、2026-11-17確認)

ずらして回転させ、補正は末尾にまとめる

西江大学とサンタクララ大学の研究チームは2026年11月16日、この問題への手法RoShiftの論文をarXivで公開した。lazy shiftはSiLU後の活性化をチャネルごとの中央値でゼロ付近へ移し、ゼロになった成分を疎化の対象にする。動かした分のずれはすぐには戻さず、FFN末尾の演算に回してから一括で直す。回転は活性化と重みの両方の統計を出力誤差に反映して係数を探し、層ごとに全文のパープレキシティが下がる候補だけを採用する。

変換しただけでは疎性は速度にならない。そこで論文は、シフトと回転に必要な補正をFFN末尾の行列へ融合し、B128単位のTop-K選択と疎GEMVカーネルを組み合わせたCUDAとTritonの実装を公開した。著者の記載では、補正と層間の遷移行列で平均14.04%の計算が増え、LMヘッドの疎化で10.49%減るため、差し引きは3.55%だ。測定された速度にはこのオーバーヘッドが含まれる。

図解RoShiftが疎性をデコード速度に変える流れ
  1. 01 再中心化

    lazy shift

    SiLU後の活性化をチャネル別中央値でゼロ付近へ移し、補正をFFN末尾へ送る

  2. 02 回転

    重みも見るQ

    活性化と重みの統計から回転係数を探り、全文のPPLが下がる候補だけ採用する

  3. 03 疎化

    B128 Top-K

    ブロック単位でTop-Kを選び、疎GEMVカーネルで重みの読み出しを飛ばす

  4. 04 融合

    補正を末尾へ

    シフトと回転の補正をFFN末尾の行列にまとめ、純増3.55%の計算に抑える

arXiv:2611.20549の本文とGitHubリポジトリのREPRODUCIBILITY.md(2026-11-17確認)から作成。純増3.55%は平均14.04%の補正コストからLMヘッド疎化の10.49%を引いた値。

精度はTEALより平均1.60〜3.29ポイント上回る

評価はMMLU、ARC-Easy、ARC-Challenge、BoolQ、PIQA、WinoGrande、CommonsenseQA、BBH、GSM8K、MATH-500、MBPPの11タスクで、対象モデルはLlama-3.1-8B、Llama-2-7B、Mistral-7B、Qwen2.5-7B、Qwen3-8B-Baseの5つだ。論文の測定では、非一律配分の50%疎性でTEALより平均1.60ポイント、60%で3.29ポイント高い。LaRoSA比では3.76と8.76ポイント、WINA比では2.22と5.66ポイントの差だった。一律配分に限ると、5モデル平均のdenseからの劣化は50%で1.59ポイント、60%で3.40ポイントになり、非一律配分はこの損失をさらに減らす。

図解11タスク平均の精度、TEALとの比較(5モデル平均・著者測定)
  • 疎性40%

    TEAL
    62.03(−2.05)
    RoShift
    62.70(−1.38)
  • 疎性50%

    TEAL
    59.84(−4.24)
    RoShift
    61.78(−2.30)
  • 疎性60%

    TEAL
    55.00(−9.08)
    RoShift
    59.09(−4.99)

arXiv:2611.20549の表20(2026-11-17確認)。一律(uniform)配分・11タスク平均で、括弧内はdenseからの変化。dense平均は64.08。非一律配分ではRoShiftの損失が1.17/1.59/3.40ポイントに減る(表26)。

速度は最大1.72倍、VRAMは3割増

デコード速度はRTX 5090とJetson AGX Orinで、FP16・バッチサイズ1・一律配分の条件で測った。RTX 5090の50%疎性では5モデルの最高がMistral-7Bの1.72倍(94.66→162.66トークン/秒)で、75%では2.60倍まで伸びる。Orinでも50%で最大1.69倍、75%で2.73倍だ。プロンプトの一括処理(prefill)はdenseのままで、疎化はキャッシュした逐次生成に効く。一方、遷移行列と補正行列の保存のため、Llama-3.1-8B・50%疎性・4KコンテキストのピークVRAMはdense比で29.31%増える。

図解バッチサイズ1のデコード速度、dense比(RTX 5090・著者測定)
  • Llama-3.1-8B

    疎性25%
    1.19倍
    疎性50%
    1.59倍
    疎性75%
    2.37倍
  • Llama-2-7B

    疎性25%
    1.16倍
    疎性50%
    1.52倍
    疎性75%
    2.25倍
  • Mistral-7B

    疎性25%
    1.28倍
    疎性50%
    1.72倍
    疎性75%
    2.60倍

arXiv:2611.20549の表4(2026-11-17確認)。FP16・バッチサイズ1・一律配分。Qwen2.5-7Bは1.34/1.65/2.48倍。Jetson AGX Orinでは50%で最大1.69倍、75%で2.73倍。

MITライセンスの実装と再現手順

著者のGitHubリポジトリはMITライセンスで、calibration、疎性配分、回転探索、精度評価、GPUデコードの実装を含む。REPRODUCIBILITY.mdには、5モデル×一律・非一律×40/50/60%の30プロファイル、calibrationデータの構成(C4、Alpaca、MetaMathQA、CodeAlpaca)、FP16・dense prefill 1024・teacher-forced decode 128という速度測定の条件まで書かれている。動作環境はLinux/WSL、Python 3.12、PyTorch 2.10、CUDA 12.8で、初期calibrationには80GiB以上の空き容量を求める。Jetson Orin向けの手順も別にある。

読むときの留保

数値はすべて著者の測定で、arXivのプレプリントであり、独立した再現や査読はまだない。1.72倍は5モデル中の最高値で、モデルと疎性の条件で速度は変わる。50%疎性はパラメーターの50%削減でもVRAM半減でもなく、prefillの高速化も含まない。精度比較ではTEALとLaRoSAはdenseなLMヘッドを使い、RoShiftは別途calibrationした疎なLMヘッドを使うという条件の違いもある。量子化や長いコンテキスト、バッチ処理との組み合わせは未検証で、llama.cppやvLLMのような推論エンジンへの統合も示されていない。

出典

  1. arXiv:2611.20549 要約ページ要旨、著者(Geunsoo Song、Jiwon Seo、Hoeseok Yang、Youngmin Yi)、公開日2026-11-16
  2. arXiv:2611.20549 HTML本文所属(Sogang University、Santa Clara University)、TEAL比+1.60/+3.29ポイント、表3・表4・表20・表26の数値、VRAM29.31%増、11タスクの評価範囲
  3. GitHub hulahula3247/RoShift README対応モデル5種、CUDA/Tritonカーネルとcalibrationの構成、MITライセンス、動作環境と80GiB要件
  4. 同リポジトリ REPRODUCIBILITY.md30プロファイル、calibrationデータ構成、FP16・バッチサイズ1の速度測定条件とベースライン設定
  5. 同リポジトリ LICENSEMITライセンスの原文(Copyright (c) 2026 RoShift contributors)

出典の確認日 2026.11.17

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む