NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Concertina、教師モデルの重みを「折り畳み」で2.27Bに圧縮──Qwen3-4Bを22Bトークンの蒸留で8評価の平均84%に維持、コードと重みを公開

北京大学、ジョージア工科大学、清華大学、Lovart AIの研究者5名は2026年11月13日、教師モデルの重みから直接小型モデルを作る手法Concertinaの論文をarXivに公開した(arXiv:2611.18113)。Qwen3-4B(論文上4.02B)の36層を隣接2層ずつの共有ブロックに折り畳んで2回実行する構成で2.27B(教師の57%)に圧縮し、元の層との差分を低ランク補正(r=64)とトークンごとのゲートで保存する。220億トークンの蒸留の結果、8ベンチマークの教師に対する相対スコア平均は約84%、常識と数学推論は約90%を維持したと報告している。コードはApache-2.0でGitHubに、重みはHugging Faceに公開済み。数値は著者の測定値で、査読前。蒸留トークン数と事前学習トークン数は性質が異なり、直接の費用比較には使えない。

知識蒸留は通常、小さな学生モデルを別に用意してゼロから学習させる。著者らは、教師の重みが学生が学ぶべき内容をすでにほぼ持っている点に注目し、学生を教師の重みから作る方式を提案する。Concertinaは、隣接するN層を1つの共有ブロックに折り畳んでN回実行する。折り畳む相手を近い層に選ぶのは、遠くの層をつなぐ従来の層共有より近い層同士が似た更新をするからだと論文は説明する。

各ループステップには、置き換え対象の層との差分を切り捨てSVDで初期化した低ランク補正(全ての折り畳まれた線形写像でr=64)を与え、トークンごとのソフトマックスゲートが補正を混合する。ゲートの初期状態は1ステップ1補正の静的な割り当てで、RMSNormの重みは元の層ごとの値を保持する。embedding、最終norm、LMヘッドは折り畳まない。Qwen3-4B(36層)ではN=2で18ブロック・2.27B(教師の57%)、N=3で12ブロック・1.70Bになる。KVキャッシュは、各ステップが置き換え対象の層のキャッシュスロットを引き継ぐため使えるとREADMEに記載がある。

蒸留はKL損失に0.25倍の交差エントロピーを足した損失で、AdamW、ピーク学習率3e-4、500ステップのウォームアップ、コサイン減衰、重み減衰0.1の設定がREADMEに示されている。論文は蒸留データの配合が結果を左右すると述べ、同じ22Bトークンの予算でも、多分野の選択問題と合成問題応答を加えた配合で教師に対する平均回復率が79%から84%に上がり、伸びが大きいのはMMLU-Pro、BBH、数学だと報告する。

「この結果は、小型モデルを大規模に再学習する必要はなく、教師をそれ自身に折り畳み、適切なデータで蒸留すれば能力の大部分が回復する、ということを示唆している。」

These results suggest that a compact model need not be retrained at scale, since folding the teacher into itself and distilling it on the right data recovers most of its capabilities.

論文「Folding Language Models into Themselves」要旨(arXiv:2611.18113、2026-11-13)

測定結果

論文Table 1では、22Bトークンで蒸留した2.27BのConcertinaは、8ベンチマークの教師に対する相対スコアの平均が約84%、常識と数学推論(base-7、GSM8K、MATH)では92%、90%、88%を維持した。base-7はARC-Challenge、ARC-Easy、HellaSwag、PIQA、OpenBookQA、WinoGrande、LAMBADAの平均で、選択問題系とMMLU、MMLU-Redux、MMLU-Pro、GPQA-diamond、BBHはゼロ-shotのlog-likelihood、GSM8KとMATHはfew-shot貪欲生成の完全一致で評価する。MATHは各分野の4問ごとに取った1,250問の部分集合を使う。論文は平均が難しい課題の差を隠すため、ベンチマークごとの値と教師に対する比率を併記する方針を明示している。

図解Concertinaの作成手順
  1. 01 教師

    Qwen3-4B(4.02B・36層)

    embedding、最終norm、LMヘッドは折り畳まない

  2. 02 折り畳み

    18の共有ブロック

    隣接2層を1ブロックにまとめて2回実行(N=2)

  3. 03 補正

    低ランクr=64

    元の層との差分を切り捨てSVDで初期化したステップLoRA。RMSNormはステップ固有

  4. 04 ゲート

    トークンごとに混合

    ソフトマックスのゲートが補正を混ぜ、初期は1ステップ1補正の静的割り当て

  5. 05 蒸留

    22Bトークン

    KL+0.25×CEの損失。AdamW・ピーク学習率3e-4・コサイン減衰・重み減衰0.1

論文§3と公式README(2026-11-17確認)。N=3では12ブロック・1.70Bになる。

図解8ベンチマークの結果(論文Table 1)
  • Qwen3-4B(教師)

    パラメータ
    4.02B
    トークン
    36T
    base-7
    0.630
    MMLU
    0.671
    GSM8K
    0.879
    MATH
    0.566
  • Qwen3-1.7B

    パラメータ
    1.72B
    トークン
    36T
    base-7
    0.562
    MMLU
    0.557
    GSM8K
    0.710
    MATH
    0.460
  • Concertina-2.27B

    パラメータ
    2.27B
    トークン
    22B
    base-7
    0.580
    MMLU
    0.556
    GSM8K
    0.788
    MATH
    0.498
  • 教師に対する比率

    パラメータ
    57%
    トークン
    −
    base-7
    92%
    MMLU
    83%
    GSM8K
    90%
    MATH
    88%

論文Table 1(2026-11-17確認)。8評価全体の教師に対する平均は84%。MMLU-Redux 0.720→0.587(82%)、MMLU-Pro 0.404→0.301(75%)、GPQA 0.379→0.301(81%)、BBH 0.505→0.400(79%)。トークンはQwen3系が事前学習、Concertinaが蒸留で、性質が異なる数値。

同じサイズで同じデータ(一般・数学・学術の20Bトークン)で蒸留した稠密モデル(Qwen3-4Bの36層のうち19層を残した2.31B)との比較では、ConcertinaはMMLU系で8〜11ポイント高く、BBHで4ポイント高く、GSM8Kで約41倍だった(Table 2)。同じサイズの先行する重み共有設計の公開レシピに対しては、197MトークンのConcertinaが10倍のデータで学習した両方を上回ったと論文は書く。Qwen3-1.7B(36Tトークンで事前学習)との比較では、8ベンチマークのうち6つで上回り、MMLUとMMLU-Reduxでは0.4ポイント以内の差で下回る。論文はこの差を、事前学習トークンが約36T対蒸留22B(千倍以上少ない)と対比して示している。

公開状況

コードはGitHubリポジトリmyboker/concertina(Apache-2.0)に公開され、折り畳みと蒸留の実装は単一ファイルconcertina.pyにまとまっている。リポジトリは2026年11月11日に作成され、requirements.txtと、CPUで小さなランダム初期化Qwen3モデルを折り畳んで4項目(フルランクで教師と厳密一致、パラメータ数の削減、キャッシュありとなしの生成の一致、全学習対象への勾配到達)を確認するセルフテスト(python concertina.py)を含む。PyTorch 2.9とTransformers 4.57/5.6で検証したとREADMEに記載がある。重みはHugging Faceのmyboker/Concertina-2.27B(2026-11-13作成)で公開され、configとモデルコードを含み、ロード例はtrust_remote_code=Trueを要求する。モデルリポジトリにはApache-2.0のタグが付いている。

読むときの留保として、数値はすべて著者の実験で、第三者の再現は報告されていない。査読前のプレプリントだ。84%は「精度84%」ではなく「8ベンチマークの教師に対する相対スコアの平均」であり、GPQA(81%)やBBH(79%)では教師との差が広い。重みの削減は推論速度の向上を意味せず、VRAM占有やレイテンシの実測は論文の範囲外だ。「千倍以上少ないデータ」は事前学習トークン数と蒸留トークン数の対比であって、計算費用や金銭コストの比較ではない。蒸留に使った計算量の総額は公表されていない。モデルのロードには独自コードの実行許可が必要で、実行前にコードを確認するのは利用者の責任になる。

出典

  1. Folding Language Models into Themselves(arXiv:2611.18113)一次資料(2026-11-13提出、2026-11-17に要約とHTML本文を確認)。Table 1の全数値と教師に対する比率、Table 2の稠密モデル比較、評価方法(base-7の構成、MATHの1,250問部分集合)、データ配合による79%→84%、著者5名の所属
  2. myboker/concertina(GitHub、Apache-2.0)一次資料(2026-11-17確認)。単一ファイル実装、蒸留の損失(KL+0.25×CE)と学習設定、セルフテストの4項目、KVキャッシュ対応、PyTorch 2.9/Transformers 4.57・5.6での検証記載
  3. myboker/Concertina-2.27B(Hugging Face)一次資料(2026-11-17にAPIで確認)。2026-11-13作成、config・モデルコード・重みのファイル構成、Apache-2.0タグ、custom_code(trust_remote_code=Trueが必要)

出典の確認日 2026.11.17

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む