NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

K2-Horizonが技術論文を公開──Value投影にMoEを適用するMoVAと拡散アダプターUno、学習データと経過チェックポイントまで6モデル分

MBZUAIのInstitute of Foundation Models(IFM)のK2チームは2026年11月16日、0.9Bから375B-A23Bまでの6モデル「K2-Horizon」の技術論文(arXiv:2611.21003)を公開した。モデル群の重みは9月1日から3日ごろに公開済みで、論文の新しい点は、AttentionのValue投影にMoEを適用するMoVA、ゲートにsoftplusを使う設計、独立ドラフト不要の拡散アダプターUno(最大2.2倍、著者報告)の説明に加え、22兆トークンの共有コーパス、約10兆の合成トークンを生成したパイプライン、学習段階ごとの経過チェックポイントまでを体系的に開示したことにある。36B-A4Bは同じデータで学習した32B denseに約1/7の活性パラメーターで概ね匹敵するという。

性能の高いオープンウェイトLLMの多くは最終重みだけを公開し、事前学習データや途中のチェックポイント、学習コードは公開されない。K2-HorizonはLLM360というオープンソースの定義に沿い、K2-V2(2025年)の単一モデルから一歩進んで、6モデルの開発の全過程を開示対象にした。公開されたのは最終重み、各学習段階の経過チェックポイント計380個、量子化版23種、学習ログ58ラン、学習データ21.6TB、パイプラインと学習基盤のコード17リポジトリである。

「公開は透明性と再現性のためのLLM360定義に従う。全開発履歴、すべての学習段階の中間チェックポイント、事前学習データ、学習ログ、学習・評価・インフラのコードすべてを含む。」

Our release follows the LLM360 definition of open source for transparency and reproducibility: the full development history, including intermediate checkpoints from every training stage, pre-training data, training logs, and all training, evaluation, and infrastructure code.

arXiv:2611.21003「Abstract」(2026-11-16公開、2026-11-17確認)

0.9Bから375Bまで、6モデルの体裁

論文とHugging Faceの公開一覧によると、Denseモデルは0.9B、3.7B、7B、32Bの4種で、MoEは36B-A4Bと375B-A23Bの2種だ。A4BやA23Bはトークンあたりに活性化するパラメーターの概数を示す。最終重みの容量は375B-A23Bで758GB、36B-A4Bで75GB、32Bで70GB、7Bで18GB、3.7Bで10GB、0.9Bで2.2GB。FP8やNVFP4、GGUF、MLX向けの量子化版も配布され、Unoアダプターは7Bと0.9Bに用意されている。ライセンスはモデルとデータセットがApache 2.0で、学習データのTxT360-v2だけCC BY 4.0だ。

図解K2-Horizonの6モデルと公開資産(論文Released Artifacts表)
  • 375B-A23B

    アーキテクチャ
    MoE
    最終重み
    758GB
    タグ数
    68タグ
  • 36B-A4B

    アーキテクチャ
    MoE+MoVA
    最終重み
    75GB
    タグ数
    69タグ
  • 32B

    アーキテクチャ
    Dense
    最終重み
    70GB
    タグ数
    69タグ
  • 7B

    アーキテクチャ
    Dense
    最終重み
    18GB
    タグ数
    70タグ
  • 3.7B

    アーキテクチャ
    Dense
    最終重み
    10GB
    タグ数
    68タグ
  • 0.9B

    アーキテクチャ
    Dense
    最終重み
    2.2GB
    タグ数
    36タグ

arXiv:2611.21003のReleased Artifacts表(2026-11-17確認)。A4B/A23Bはトークンあたりの活性パラメーター概数。チェックポイントはHugging Faceのリビジョンタグ数。Unoアダプターは7Bと0.9Bのみ。

Value投影にMoEを適用するMoVA

論文のモデリング面の新しい点は二つある。MoVA(Mixture-of-Value Attention)は、AttentionのValue投影を一つの行列で済ませる代わりに、ルーティングが選んだ複数のValue投影専門の「専門家」を重み付きで組み合わせる設計だ。従来のMoEはFFN側の専門家ルーティングが主流で、Value投影に適用した例は少ない。もう一つはsoftplus attention gatingで、論文は従来のsigmoidゲートがゼロ入力で0.5になり最大でも出力を増幅できない点を挙げ、softplusに置き換えることでより柔軟なゲートにしたと説明する。

両方を取り入れた36B-A4Bの著者報告では、同じデータで学習した32B denseに活性パラメーター約1/7で概ね匹敵し、MMLU、GSM8K、HellaSwag、HumanEvalの4ベンチマークでの差は1.2〜3.7ポイントにとどまる。著者は測定ログをWeights & Biasesで公開している。Unoは離散拡散を使うアダプターで、別の小型ドラフトモデルなしでデコードを最大2.2倍に速めるとしている。

図解モデル公開と論文公開の時間差
  1. モデル重み

    Hugging FaceのIFM組織にK2-Horizonの重みが現れる(32Bの作成日時2026-09-01、ライセンスApache 2.0)

  2. 学習基盤xLLM

    GitHub ifm-aiに学習フレームワークxllmのリポジトリが作成される

  3. RL360・uno

    強化学習スタックRL360と拡散アダプターunoのリポジトリが作成される

  4. 技術論文

    アーキテクチャとデータ生成パイプライン、学習履歴を体系化した技術論文をarXivに公開(2611.21003v1)

Hugging Face API・GitHub APIの作成日時とarXivの表示日付(2026-11-17確認)。ifm.aiのプレスリリースはHTTP 403で未取得のため、9月の公式発表日の記載はプラットフォームAPIに基づく。

22兆トークンの共有コーパスと10兆の合成データ

論文によると、3.7B、7B、32B、36B-A4Bの4モデルは同じ22兆トークンの事前学習コーパスとレシピを共有し、スケールと疎性の比較研究ができるようにしている。0.9Bはこの共有に含まれず、フラッグシップの375B-A23Bは2段階で15.1兆トークンを学習した。公開された学習データはTxT360-v2(5.29TB)、Math-Reasoning(4.46TB)、Code-Reasoning(3.28TB)、SFT-Reasoning(159GB)、Pretrain-Behaviors(8.37TB)の5セットで計21.6TB。パイプラインが生成した合成トークンは約10兆に達し、論文は合成データが大規模事前学習の主要材料になり得ると述べる一方、生成データの大半は検証されていないことも明記している。

読むときの留保

まず時間差の区別が要る。モデル重みと学習コードは9月1〜3日ごろの公開で、11月16日の論文はそれを説明し体系化した技術文書であり、新しいモデルの発表ではない。速度の2.2倍は著者報告の最大値で、一般的な性能保証ではない。375B-A23Bの運用は最終重み758GBを置ける大規模GPU基盤を前提にし、A23Bという数字だけで安くなるわけではない。ライセンスはTxT360-v2だけCC BY 4.0で、データごとに条件が変わる。論文自身が合成データの検証の欠如を認めており、公開資産を使った完全な再学習のコスト評価もこの論文の範囲にはない。プレプリントであり、第三者による性能の独立検証はまだない。

出典

  1. arXiv:2611.21003 要約ページ公開日2026-11-16、著者(K2 Team, Institute of Foundation Models)、要旨のMoVA・softplus・Uno 2.2倍・LLM360定義・22T/10Tの数値
  2. arXiv:2611.21003 HTML本文MBZUAI表紙と@mbzuai.ac.aeの連絡先、Released Artifacts表(重み容量・チェックポイントタグ数・データセット容量・ライセンス行)、22T共有は3.7B/7B/32B/36B-A4B、フラッグシップ15.1T、1.2〜3.7ポイント差、合成データは未検証の記述
  3. Hugging Face IFM組織K2-Horizonの6モデルとFP8/NVFP4/GGUF/MLX量子化、Unoアダプター、5データセットの公開
  4. Hugging Face K2-Horizon-32B作成日時2026-09-01、ライセンスapache-2.0(API値)
  5. GitHub ifm-ai組織xllm(2026-09-02作成)、RL360・uno(2026-09-03作成)など公開リポジトリの一覧と作成日時(API)

出典の確認日 2026.11.17

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む