2026年11月9日、Amazon所属のAlex M. Tseng氏とLuca Zancato氏が、Hugging Faceの公式記事でHOPE(Higher-Order Pruning of Experts)の仕組み、コード、実行手順を説明しました。元の論文はarXiv:2609.18916として2026年9月16日に提出され、9月29日の改訂(v3)があります。著者はTseng氏のほかPrannay Kaul氏、Zancato氏、Wei Xia氏、Stefano Soatto氏の5人です。実装はGitHubのawslabs/HOPEにApache-2.0ライセンスで公開されています。
MoE(Mixture-of-Experts)は、各トークンに対して多数の専門家のうち一部だけを起動する構造です。起動しない専門家の重みも推論時にメモリーへ保持する必要があり、パラメーター数の割にメモリー負担が大きくなります。公式記事の例では、Qwen3.5-122Bが48個のMoE層に各256の専門家を持ち、約250GBのパラメーターメモリーの95%を専門家のMLPが占めます。トークンごとに各層で実際に使われるのは8専門家です。
専門家の枝刈りは、不要な専門家を削除してこのメモリー負担を減らす方法です。学習が不要で、量子化と併用でき、動的な読み込みが持つ遅延の問題も避けられると公式記事は説明します。難しいのは、どの専門家を削っても安全かの判断です。REAPなどの既存の一次手法は、キャリブレーションデータに基づいて各専門家を個別に採点し、重要度の低い専門家から削ります。専門家どうしの寄与が互いに独立だと仮定するため、実際には一緒に起動する専門家のグループを壊すおそれがあります。
「これらは一次の手法です。各専門家の寄与がほかの専門家と独立だと仮定しているからです。実際には、専門家は協調グループを作ります。」
These are first-order methods, because they assume each expert's contribution is independent of all others. In reality, experts form cooperative groups.
一次手法(REAP、MAN、EAN、Frequency)
- 採点の単位
- 専門家ごとの独立スコア
- REAPとの関係
- F行列の対角成分だけでほぼ同じ順位(Spearman ρ=0.988)
HOPE(二次手法)
- 採点の単位
- 専門家ペアの共起と出力寄与を含むF行列
- REAPとの関係
- 相互作用項を無視した場合がREAPに相当(論文の定式化)
Hugging Face公式記事(2026-11-09)とarXiv:2609.18916の要旨に基づく。Spearman ρとREAPとの関係は著者の報告。
HOPEは、専門家を削ったときの層出力の変化(枝刈り誤差)の上界を最小化する二次計画問題として定式化します。キャリブレーションデータで集計するF行列は、対角成分が専門家単独の重要度を、非対角成分がペアの共起にゲート重みと出力ノルムを掛けた寄与を、それぞれ記録する値です。この二次計画問題を連続緩和で解き、二値の枝刈り集合に丸めます。追加の計算コストはソルバーの各層1〜2秒で、キャリブレーションの1回のフォワードパスが処理時間の主体です。対角成分だけでもREAPの専門家順位をほぼ再現し(Spearman ρ=0.988)、改善は非対角の相互作用項に由来すると公式記事は説明します。
評価は3モデル(Qwen3.5-122B、Qwen3.5-35B、GLM-4.5-Air)に、Evol-CodeAlpacaとSWE-Bench Verifiedの軌跡という2種類のキャリブレーションデータを使い、Tulu3スイートとSWE-Bench Pro(エージェント型コーディング)で測定しました。比較相手はREAP、MAN、EAN、Frequencyの4つの一次手法で、削減率は10〜50%です。全条件を通じた平均順位は5手法中2.07で、1位になった条件が39%、2位までが67%でした。削減率50%では平均順位1.58に対して次点のREAPは2.42で、エージェント型コーディングのタスクでは次点手法との差が最大6.1ポイントに達したと著者は報告しています。
Qwen3.5-35B-A3Bを50%削減した場合のSWE-Bench Proは、HOPEが42.3で削減なしの41.8とほぼ同じでした。REAPは36.2まで下がり、著者は非枝刈り比13%の低下としています。これらの数値は著者による評価です。42.3と41.8の差は小さく、著者ら自身も、使わない専門家の除去がノイズを減らして削減モデルが元のモデルを上回る場合があると述べています。
- 01 1. calibrate
観測
キャリブレーションデータを1回のフォワードパスで通し、専門家の選択・ゲート重み・出力ノルム・共起統計を記録する。F行列をHDF5に保存する
- 02 2. solve
枝刈り集合の決定
F行列から二次計画問題を連続緩和で解き、二値の枝刈り集合に丸める。ソルバーは各層1〜2秒
- 03 3. prune
縮小モデルの出力
枝刈り集合を適用し、標準のHugging Face checkpointを作る。vLLMやSGLangの定義変更は不要
awslabs/HOPEのREADME(2026-11-10確認)に基づく。検証済みのアーキテクチャはQwen3、Qwen3-Next、Qwen3.5、GLM-4.5。
出力の削減モデルは標準のHugging Face checkpointで、ディスクとメモリーの両方で小さくなり、vLLMやSGLangのモデル定義を変更せずに読み込めます。学習は不要で、量子化との併用も可能です。
公式記事は限界も示しています。HOPEの優位は削減率40〜50%で最も大きく、10〜20%ではREAPやMANのような一次手法が競争力を持つ場合があります。層ごとに独立して枝刈りするため層をまたぐ相互作用は扱わず、論文で示した理論枠組みの結果は予備的なものです。推定する相互作用はペアまでで、三者以上は組合せが増えて推定が難しくなります。
この公開で確認できるのは、手法の説明、実装、著者によるベンチマークです。実環境でのVRAM削減幅やスループット、長文推論での品質について独立の検証はまだなく、効果は削減率とワークロードに依存します。11月の発表の核は解説記事と実装の公開であり、論文の初公開ではありません。
出典
- Your Experts Have Partners. There's HOPE for Keeping Them Together(Alex M. Tseng、Luca Zancato/Hugging Face公式記事、2026-11-09)公開日(2026年11月9日)と著者のAmazon所属、Qwen3.5-122Bの例(48MoE層×256専門家、約250GBの95%が専門家MLP、トークンごとに各層8専門家)、一次手法への批判文(引用の原文)、F行列の定義とQPソルバーの各層1〜2秒、Spearman ρ=0.988、評価設定(3モデル×2キャリブレーション、Tulu3とSWE-Bench Pro、REAP/MAN/EAN/Frequency、10〜50%)、平均順位2.07・トップ1率39%・トップ2率67%、50%削減時の平均順位1.58対REAP 2.42と最大+6.1%、Qwen3.5-35B-A3BのSWE-Bench Pro 42.3対非枝刈り41.8対REAP 36.2(13%低下)、限界(40〜50%で優位最大、10〜20%では競争力、層間は予備的、ペアまで)。2026-11-10に全文取得
- Higher-order pruning of experts in mixture-of-experts language models(arXiv:2609.18916、2026-09-16提出、2026-09-29にv3改訂)提出日(2026-09-16)とv3改訂日(2026-09-29)、著者5名(Tseng、Kaul、Zancato、Xia、Soatto)、HOPEが枝刈り誤差の上界を最小化する二次の目的関数である点、REAPが相互作用項を無視した特別な場合である点、50%削減時の平均順位1.58対REAP 2.42と最大+6.1%。2026-11-10に要旨全文を取得
- awslabs/HOPE(GitHub、READMEとLICENSE、2026-11-10確認)リポジトリ作成(2026-09-29T22:22Z)、calibrate→solve→pruneの3段階コマンドとPython API、solveは分数または個数で枝刈り数を指定、出力が標準のHugging Face checkpointでvLLM/SGLangの定義変更不要な点、検証済みアーキテクチャ(Qwen3、Qwen3-Next、Qwen3.5、GLM-4.5、transformers==5.2.0)、LICENSEのApache-2.0(Amazon.comの著作権表示付き)。README全文とLICENSE原文を2026-11-10に取得
出典の確認日 2026.11.10