THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
プロダクト
新しいサービスや開発者向けの発表を紹介します。
1件新しい順
Concertina、教師モデルの重みを「折り畳み」で2.27Bに圧縮──Qwen3-4Bを22Bトークンの蒸留で8評価の平均84%に維持、コードと重みを公開
北京大学、ジョージア工科大学、清華大学、Lovart AIの研究者5名は2026年11月13日、教師モデルの重みから直接小型モデルを作る手法Concertinaの論文をarXivに公開した(arXiv:2611.18113)。Qwen3-4B(論文上4.02B)の36層を隣接2層ずつの共有ブロックに折り畳んで2回実行する構成で2.27B(教師の57%)に圧縮し、元の層との差分を低ランク補正(r=64)とトークンごとのゲートで保存する。220億トークンの蒸留の結果、8ベンチマークの教師に対する相対スコア平均は約84%、常識と数学推論は約90%を維持したと報告している。コードはApache-2.0でGitHubに、重みはHugging Faceに公開済み。数値は著者の測定値で、査読前。蒸留トークン数と事前学習トークン数は性質が異なり、直接の費用比較には使えない。