知識蒸留は通常、小さな学生モデルを別に用意してゼロから学習させる。著者らは、教師の重みが学生が学ぶべき内容をすでにほぼ持っている点に注目し、学生を教師の重みから作る方式を提案する。Concertinaは、隣接するN層を1つの共有ブロックに折り畳んでN回実行する。折り畳む相手を近い層に選ぶのは、遠くの層をつなぐ従来の層共有より近い層同士が似た更新をするからだと論文は説明する。
各ループステップには、置き換え対象の層との差分を切り捨てSVDで初期化した低ランク補正(全ての折り畳まれた線形写像でr=64)を与え、トークンごとのソフトマックスゲートが補正を混合する。ゲートの初期状態は1ステップ1補正の静的な割り当てで、RMSNormの重みは元の層ごとの値を保持する。embedding、最終norm、LMヘッドは折り畳まない。Qwen3-4B(36層)ではN=2で18ブロック・2.27B(教師の57%)、N=3で12ブロック・1.70Bになる。KVキャッシュは、各ステップが置き換え対象の層のキャッシュスロットを引き継ぐため使えるとREADMEに記載がある。
蒸留はKL損失に0.25倍の交差エントロピーを足した損失で、AdamW、ピーク学習率3e-4、500ステップのウォームアップ、コサイン減衰、重み減衰0.1の設定がREADMEに示されている。論文は蒸留データの配合が結果を左右すると述べ、同じ22Bトークンの予算でも、多分野の選択問題と合成問題応答を加えた配合で教師に対する平均回復率が79%から84%に上がり、伸びが大きいのはMMLU-Pro、BBH、数学だと報告する。
「この結果は、小型モデルを大規模に再学習する必要はなく、教師をそれ自身に折り畳み、適切なデータで蒸留すれば能力の大部分が回復する、ということを示唆している。」
These results suggest that a compact model need not be retrained at scale, since folding the teacher into itself and distilling it on the right data recovers most of its capabilities.
測定結果
論文Table 1では、22Bトークンで蒸留した2.27BのConcertinaは、8ベンチマークの教師に対する相対スコアの平均が約84%、常識と数学推論(base-7、GSM8K、MATH)では92%、90%、88%を維持した。base-7はARC-Challenge、ARC-Easy、HellaSwag、PIQA、OpenBookQA、WinoGrande、LAMBADAの平均で、選択問題系とMMLU、MMLU-Redux、MMLU-Pro、GPQA-diamond、BBHはゼロ-shotのlog-likelihood、GSM8KとMATHはfew-shot貪欲生成の完全一致で評価する。MATHは各分野の4問ごとに取った1,250問の部分集合を使う。論文は平均が難しい課題の差を隠すため、ベンチマークごとの値と教師に対する比率を併記する方針を明示している。
- 01 教師
Qwen3-4B(4.02B・36層)
embedding、最終norm、LMヘッドは折り畳まない
- 02 折り畳み
18の共有ブロック
隣接2層を1ブロックにまとめて2回実行(N=2)
- 03 補正
低ランクr=64
元の層との差分を切り捨てSVDで初期化したステップLoRA。RMSNormはステップ固有
- 04 ゲート
トークンごとに混合
ソフトマックスのゲートが補正を混ぜ、初期は1ステップ1補正の静的割り当て
- 05 蒸留
22Bトークン
KL+0.25×CEの損失。AdamW・ピーク学習率3e-4・コサイン減衰・重み減衰0.1
論文§3と公式README(2026-11-17確認)。N=3では12ブロック・1.70Bになる。
Qwen3-4B(教師)
- パラメータ
- 4.02B
- トークン
- 36T
- base-7
- 0.630
- MMLU
- 0.671
- GSM8K
- 0.879
- MATH
- 0.566
Qwen3-1.7B
- パラメータ
- 1.72B
- トークン
- 36T
- base-7
- 0.562
- MMLU
- 0.557
- GSM8K
- 0.710
- MATH
- 0.460
Concertina-2.27B
- パラメータ
- 2.27B
- トークン
- 22B
- base-7
- 0.580
- MMLU
- 0.556
- GSM8K
- 0.788
- MATH
- 0.498
教師に対する比率
- パラメータ
- 57%
- トークン
- −
- base-7
- 92%
- MMLU
- 83%
- GSM8K
- 90%
- MATH
- 88%
論文Table 1(2026-11-17確認)。8評価全体の教師に対する平均は84%。MMLU-Redux 0.720→0.587(82%)、MMLU-Pro 0.404→0.301(75%)、GPQA 0.379→0.301(81%)、BBH 0.505→0.400(79%)。トークンはQwen3系が事前学習、Concertinaが蒸留で、性質が異なる数値。
同じサイズで同じデータ(一般・数学・学術の20Bトークン)で蒸留した稠密モデル(Qwen3-4Bの36層のうち19層を残した2.31B)との比較では、ConcertinaはMMLU系で8〜11ポイント高く、BBHで4ポイント高く、GSM8Kで約41倍だった(Table 2)。同じサイズの先行する重み共有設計の公開レシピに対しては、197MトークンのConcertinaが10倍のデータで学習した両方を上回ったと論文は書く。Qwen3-1.7B(36Tトークンで事前学習)との比較では、8ベンチマークのうち6つで上回り、MMLUとMMLU-Reduxでは0.4ポイント以内の差で下回る。論文はこの差を、事前学習トークンが約36T対蒸留22B(千倍以上少ない)と対比して示している。
公開状況
コードはGitHubリポジトリmyboker/concertina(Apache-2.0)に公開され、折り畳みと蒸留の実装は単一ファイルconcertina.pyにまとまっている。リポジトリは2026年11月11日に作成され、requirements.txtと、CPUで小さなランダム初期化Qwen3モデルを折り畳んで4項目(フルランクで教師と厳密一致、パラメータ数の削減、キャッシュありとなしの生成の一致、全学習対象への勾配到達)を確認するセルフテスト(python concertina.py)を含む。PyTorch 2.9とTransformers 4.57/5.6で検証したとREADMEに記載がある。重みはHugging Faceのmyboker/Concertina-2.27B(2026-11-13作成)で公開され、configとモデルコードを含み、ロード例はtrust_remote_code=Trueを要求する。モデルリポジトリにはApache-2.0のタグが付いている。
読むときの留保として、数値はすべて著者の実験で、第三者の再現は報告されていない。査読前のプレプリントだ。84%は「精度84%」ではなく「8ベンチマークの教師に対する相対スコアの平均」であり、GPQA(81%)やBBH(79%)では教師との差が広い。重みの削減は推論速度の向上を意味せず、VRAM占有やレイテンシの実測は論文の範囲外だ。「千倍以上少ないデータ」は事前学習トークン数と蒸留トークン数の対比であって、計算費用や金銭コストの比較ではない。蒸留に使った計算量の総額は公表されていない。モデルのロードには独自コードの実行許可が必要で、実行前にコードを確認するのは利用者の責任になる。
出典
- Folding Language Models into Themselves(arXiv:2611.18113)一次資料(2026-11-13提出、2026-11-17に要約とHTML本文を確認)。Table 1の全数値と教師に対する比率、Table 2の稠密モデル比較、評価方法(base-7の構成、MATHの1,250問部分集合)、データ配合による79%→84%、著者5名の所属
- myboker/concertina(GitHub、Apache-2.0)一次資料(2026-11-17確認)。単一ファイル実装、蒸留の損失(KL+0.25×CE)と学習設定、セルフテストの4項目、KVキャッシュ対応、PyTorch 2.9/Transformers 4.57・5.6での検証記載
- myboker/Concertina-2.27B(Hugging Face)一次資料(2026-11-17にAPIで確認)。2026-11-13作成、config・モデルコード・重みのファイル構成、Apache-2.0タグ、custom_code(trust_remote_code=Trueが必要)
出典の確認日 2026.11.17