NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

THE NEWS DESK

AIニュース

公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。

すべてのニュース

1件新しい順

  1. プロダクトIFM・MBZUAI出典 5件

    K2-Horizonが技術論文を公開──Value投影にMoEを適用するMoVAと拡散アダプターUno、学習データと経過チェックポイントまで6モデル分

    MBZUAIのInstitute of Foundation Models(IFM)のK2チームは2026年11月16日、0.9Bから375B-A23Bまでの6モデル「K2-Horizon」の技術論文(arXiv:2611.21003)を公開した。モデル群の重みは9月1日から3日ごろに公開済みで、論文の新しい点は、AttentionのValue投影にMoEを適用するMoVA、ゲートにsoftplusを使う設計、独立ドラフト不要の拡散アダプターUno(最大2.2倍、著者報告)の説明に加え、22兆トークンの共有コーパス、約10兆の合成トークンを生成したパイプライン、学習段階ごとの経過チェックポイントまでを体系的に開示したことにある。36B-A4Bは同じデータで学習した32B denseに約1/7の活性パラメーターで概ね匹敵するという。