性能の高いオープンウェイトLLMの多くは最終重みだけを公開し、事前学習データや途中のチェックポイント、学習コードは公開されない。K2-HorizonはLLM360というオープンソースの定義に沿い、K2-V2(2025年)の単一モデルから一歩進んで、6モデルの開発の全過程を開示対象にした。公開されたのは最終重み、各学習段階の経過チェックポイント計380個、量子化版23種、学習ログ58ラン、学習データ21.6TB、パイプラインと学習基盤のコード17リポジトリである。
「公開は透明性と再現性のためのLLM360定義に従う。全開発履歴、すべての学習段階の中間チェックポイント、事前学習データ、学習ログ、学習・評価・インフラのコードすべてを含む。」
Our release follows the LLM360 definition of open source for transparency and reproducibility: the full development history, including intermediate checkpoints from every training stage, pre-training data, training logs, and all training, evaluation, and infrastructure code.
0.9Bから375Bまで、6モデルの体裁
論文とHugging Faceの公開一覧によると、Denseモデルは0.9B、3.7B、7B、32Bの4種で、MoEは36B-A4Bと375B-A23Bの2種だ。A4BやA23Bはトークンあたりに活性化するパラメーターの概数を示す。最終重みの容量は375B-A23Bで758GB、36B-A4Bで75GB、32Bで70GB、7Bで18GB、3.7Bで10GB、0.9Bで2.2GB。FP8やNVFP4、GGUF、MLX向けの量子化版も配布され、Unoアダプターは7Bと0.9Bに用意されている。ライセンスはモデルとデータセットがApache 2.0で、学習データのTxT360-v2だけCC BY 4.0だ。
375B-A23B
- アーキテクチャ
- MoE
- 最終重み
- 758GB
- タグ数
- 68タグ
36B-A4B
- アーキテクチャ
- MoE+MoVA
- 最終重み
- 75GB
- タグ数
- 69タグ
32B
- アーキテクチャ
- Dense
- 最終重み
- 70GB
- タグ数
- 69タグ
7B
- アーキテクチャ
- Dense
- 最終重み
- 18GB
- タグ数
- 70タグ
3.7B
- アーキテクチャ
- Dense
- 最終重み
- 10GB
- タグ数
- 68タグ
0.9B
- アーキテクチャ
- Dense
- 最終重み
- 2.2GB
- タグ数
- 36タグ
arXiv:2611.21003のReleased Artifacts表(2026-11-17確認)。A4B/A23Bはトークンあたりの活性パラメーター概数。チェックポイントはHugging Faceのリビジョンタグ数。Unoアダプターは7Bと0.9Bのみ。
Value投影にMoEを適用するMoVA
論文のモデリング面の新しい点は二つある。MoVA(Mixture-of-Value Attention)は、AttentionのValue投影を一つの行列で済ませる代わりに、ルーティングが選んだ複数のValue投影専門の「専門家」を重み付きで組み合わせる設計だ。従来のMoEはFFN側の専門家ルーティングが主流で、Value投影に適用した例は少ない。もう一つはsoftplus attention gatingで、論文は従来のsigmoidゲートがゼロ入力で0.5になり最大でも出力を増幅できない点を挙げ、softplusに置き換えることでより柔軟なゲートにしたと説明する。
両方を取り入れた36B-A4Bの著者報告では、同じデータで学習した32B denseに活性パラメーター約1/7で概ね匹敵し、MMLU、GSM8K、HellaSwag、HumanEvalの4ベンチマークでの差は1.2〜3.7ポイントにとどまる。著者は測定ログをWeights & Biasesで公開している。Unoは離散拡散を使うアダプターで、別の小型ドラフトモデルなしでデコードを最大2.2倍に速めるとしている。
モデル重み
Hugging FaceのIFM組織にK2-Horizonの重みが現れる(32Bの作成日時2026-09-01、ライセンスApache 2.0)
学習基盤xLLM
GitHub ifm-aiに学習フレームワークxllmのリポジトリが作成される
RL360・uno
強化学習スタックRL360と拡散アダプターunoのリポジトリが作成される
技術論文
アーキテクチャとデータ生成パイプライン、学習履歴を体系化した技術論文をarXivに公開(2611.21003v1)
Hugging Face API・GitHub APIの作成日時とarXivの表示日付(2026-11-17確認)。ifm.aiのプレスリリースはHTTP 403で未取得のため、9月の公式発表日の記載はプラットフォームAPIに基づく。
22兆トークンの共有コーパスと10兆の合成データ
論文によると、3.7B、7B、32B、36B-A4Bの4モデルは同じ22兆トークンの事前学習コーパスとレシピを共有し、スケールと疎性の比較研究ができるようにしている。0.9Bはこの共有に含まれず、フラッグシップの375B-A23Bは2段階で15.1兆トークンを学習した。公開された学習データはTxT360-v2(5.29TB)、Math-Reasoning(4.46TB)、Code-Reasoning(3.28TB)、SFT-Reasoning(159GB)、Pretrain-Behaviors(8.37TB)の5セットで計21.6TB。パイプラインが生成した合成トークンは約10兆に達し、論文は合成データが大規模事前学習の主要材料になり得ると述べる一方、生成データの大半は検証されていないことも明記している。
読むときの留保
まず時間差の区別が要る。モデル重みと学習コードは9月1〜3日ごろの公開で、11月16日の論文はそれを説明し体系化した技術文書であり、新しいモデルの発表ではない。速度の2.2倍は著者報告の最大値で、一般的な性能保証ではない。375B-A23Bの運用は最終重み758GBを置ける大規模GPU基盤を前提にし、A23Bという数字だけで安くなるわけではない。ライセンスはTxT360-v2だけCC BY 4.0で、データごとに条件が変わる。論文自身が合成データの検証の欠如を認めており、公開資産を使った完全な再学習のコスト評価もこの論文の範囲にはない。プレプリントであり、第三者による性能の独立検証はまだない。
出典
- arXiv:2611.21003 要約ページ公開日2026-11-16、著者(K2 Team, Institute of Foundation Models)、要旨のMoVA・softplus・Uno 2.2倍・LLM360定義・22T/10Tの数値
- arXiv:2611.21003 HTML本文MBZUAI表紙と@mbzuai.ac.aeの連絡先、Released Artifacts表(重み容量・チェックポイントタグ数・データセット容量・ライセンス行)、22T共有は3.7B/7B/32B/36B-A4B、フラッグシップ15.1T、1.2〜3.7ポイント差、合成データは未検証の記述
- Hugging Face IFM組織K2-Horizonの6モデルとFP8/NVFP4/GGUF/MLX量子化、Unoアダプター、5データセットの公開
- Hugging Face K2-Horizon-32B作成日時2026-09-01、ライセンスapache-2.0(API値)
- GitHub ifm-ai組織xllm(2026-09-02作成)、RL360・uno(2026-09-03作成)など公開リポジトリの一覧と作成日時(API)
出典の確認日 2026.11.17