THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
プロダクト
新しいサービスや開発者向けの発表を紹介します。
2件新しい順
Edge0、単一GPUの145B・120B Latent MoEモデルを公開──Qwen3.8-Flash-Next由来で4ビット学習、RTX 5090 D 24GBでagent decode 121.2 tok/sを報告
Edge0は2026年11月13日、単一のNVIDIA GPUで動く大規模Latent MoEモデル「Edge0-145B」「Edge0-120B」を公開した。Qwen3.8-Flash-Nextを由来に4ビットで学習したモデルで、Q3_KとNVFP4の重みをHugging Faceで配る。動かすのはSSDやRAMから重みを供給するStrataフォークのedge0-strataで、Linux・WindowsのCUDA 13のほか、Apple SiliconのMetalでQ3_Kが動く。公式READMEのRTX 5090 D 24GB測定では、145B Q3_Kのagent decodeが121.2 tok/s、16K prefillが3554.9 tok/s。精度はモデル単位の測定でTerminal-Bench 2.1が145B 86.5・120B 75.3。コードはApache-2.0、重みは商用提供を別条件とするEdge0 Community Model License v1.0だ。
Edge0が統合MoE推論エンジンedge0-inferを公開 SSDからExpertを読み出し35Bモデルをピーク3.4GiBで動かす(測定値は著者報告)
Edge0は2026年11月4日、macOS・iOS・Android・Windowsで同じコマンドでMoEモデルを動かせる統合推論エンジンedge0-inferを公開した。GGMLベースのC++実装で、CLIとOpenAI互換・Anthropic互換のローカルサーバー、チャットアプリのサンプルを含む。最初の対応モデルはedge0-35bで、35B級のMoEをApple M5 16GiBのMetalで24.8〜24.9トークン/秒、ピーク物理メモリ3.43GiBで動かすと公式測定で報告している。数値は著者測定で、独立した検証はまだない。