THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
プロダクト
新しいサービスや開発者向けの発表を紹介します。
1件新しい順
K2-Horizonが技術論文を公開──Value投影にMoEを適用するMoVAと拡散アダプターUno、学習データと経過チェックポイントまで6モデル分
MBZUAIのInstitute of Foundation Models(IFM)のK2チームは2026年11月16日、0.9Bから375B-A23Bまでの6モデル「K2-Horizon」の技術論文(arXiv:2611.21003)を公開した。モデル群の重みは9月1日から3日ごろに公開済みで、論文の新しい点は、AttentionのValue投影にMoEを適用するMoVA、ゲートにsoftplusを使う設計、独立ドラフト不要の拡散アダプターUno(最大2.2倍、著者報告)の説明に加え、22兆トークンの共有コーパス、約10兆の合成トークンを生成したパイプライン、学習段階ごとの経過チェックポイントまでを体系的に開示したことにある。36B-A4Bは同じデータで学習した32B denseに約1/7の活性パラメーターで概ね匹敵するという。