Meta、Muse Spark Openの重みを公開　総8160億・稼働420億パラメーター

MoEは、入力に応じてモデルの一部を選んで計算する方式だ。Metaの開発者文書では、テキスト、画像、音声、動画を入力し、テキストを出力するモデルと説明している。文脈長の上限は104万8576トークンとなる。

稼働する部分が小さいことと、必要なメモリーが小さいことは別の問題だ。開発者文書は、実行時には重み全体をメモリーへ読み込む必要があり、キャッシュなどのために追加の容量も要ると注意を促している。

MetaはAppleのMLXにも対応し、各512GBの統合メモリーを持つM5 Ultra搭載Mac Studioを2台使う構成を紹介した。API提供のほか、vLLMやSGLangなどを使って自社環境で動かす選択肢も用意する。

重みには独自のMuse Model Licenseが適用され、商用利用に条件がある。公開された重みを自由な条件のオープンソースと同一視しないことが必要だ。性能や安全性に関するMetaの説明は、同社の評価として読む必要がある。