NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Edge0が統合MoE推論エンジンedge0-inferを公開 SSDからExpertを読み出し35Bモデルをピーク3.4GiBで動かす(測定値は著者報告)

Edge0は2026年11月4日、macOS・iOS・Android・Windowsで同じコマンドでMoEモデルを動かせる統合推論エンジンedge0-inferを公開した。GGMLベースのC++実装で、CLIとOpenAI互換・Anthropic互換のローカルサーバー、チャットアプリのサンプルを含む。最初の対応モデルはedge0-35bで、35B級のMoEをApple M5 16GiBのMetalで24.8〜24.9トークン/秒、ピーク物理メモリ3.43GiBで動かすと公式測定で報告している。数値は著者測定で、独立した検証はまだない。

Edge0プロジェクトは2026年11月4日、GGMLベースの統合推論エンジンedge0-inferをApache-2.0で公開した(GitHubのEdge0-AI/Edge0リポジトリ、作成は2026年9月8日、1万80スター、GitHub API実測)。それまでのPythonフレームワークとプラットフォーム別エンジンを置き換え、旧コードはpre-edge0-inferタグに残る。対応はmacOS(Apple Silicon)のMetalとCPU、iOSのMetal、AndroidのCPU、LinuxのCPU、WindowsのCPUとVulkan。最初のリリースが動かすのはedge0-35bで、edge0-8bは今後の予定とREADMEに記載がある。本記事はこの2026年11月4日時点の公開内容を対象にする。

「Expertの重みは必要になった時点で固定数のスロットへストレージから読み込まれる。そのため、デバイスのメモリ予算を超えるモデルでも、重み全体を読み込まずに動く。」

Expert weights are loaded from storage on demand into a fixed pool of slots, so a model larger than the device memory budget runs without loading all of its weights.

edge0-infer README(Edge0-AI/Edge0リポジトリ)、確認日2026-11-12

SSDからExpertを読み、1トークン先を予測する

背景にある問題を技術報告(arXiv:2609.18063)はこう整理する。35B級MoEの重みは4bitでも19.5GBあり、トークンごとの活性化パラメータは約3Bにとどまる。スパース性は1トークンの計算量を減らすが、保持しなければならないバイト数は減らさない。さらに層N+1のExpert選択には層Nの出力が必要なため、単純にSSDへ退避させても読み出しを計算の陰に隠せない。

edge0の構成は3つだ。SSD expert offloadはExpertの重みを必要になった時点で読み込み、ピークメモリを活性化するExpertの集合で抑える。prerouterは層ごとの小さなheadで次のトークンのルーティングを1ステップ先に予測し、その予測を実際のルーティングとして使う。現在のトークンを計算している間に、次に使うExpertの読み出しが進む。Recover-LoRAはint4化したベースの重みを凍結したまま、FPの教師モデルからの蒸留で4bit化とルーティング置き換えによる品質低下を回復する。アダプタはベースとは別に保存され、付け外しが可能だ。edge0-35bのベースはQwen3.6-35B-A3Bで、40層×256Expert+共有Expert、ルーティング幅K=4、4bit。

図解decode時のExpert供給(READMEとarXiv:2609.18063に基づく)
  1. 01 現トークン計算

    トークンt

    各層が予測済みのExpertで計算を進める。

  2. 02 prerouter予測

    1ステップ先

    層ごとのheadがトークンt+1のルーティングを先に予測し、予測をそのままルーティングに使う。

  3. 03 裏で読み出し

    固定スロット

    予測されたExpertをSSDから固定数のスロットへ読み込む。読み出し待ちで止まらない。

  4. 04 次トークン計算

    トークンt+1

    読み込み済みのExpertで計算する。actualモードでは各層がルーティング結果を待ってから読み出す。

Edge0リポジトリREADME、edge0-inferのアーキテクチャ文書、arXiv:2609.18063に基づく。prerouterの効果は著者報告。

公式測定ではM5のMetalで24.8〜24.9トークン/秒

リポジトリのベンチマーク文書は、機種ごとに3プロセスの最小〜最大を載せる。Apple M5 16GiBのMetalで3,084トークンを入力すると、初トークンまで5.60〜5.87秒、decodeは24.8〜24.9トークン/秒、ピーク物理メモリ(phys_footprint)は3.43GiBだった。同じ条件でprerouterを使わないactualルーティングは15.9〜16.1トークン/秒なので、予測モードは約55%速い。READMEはprerouterの効果を「最大+59%のdecode高速化」と記載する。ほかの機種では、iPhone 17 Pro Max(12GB)で13.2トークン/秒、OnePlus PKR110(Snapdragon 8 Elite、16GB)で11.4〜11.8トークン/秒、Core i5-12400のWindows CPUで7.3〜8.2トークン/秒、RTX 4070 SUPERのVulkanで23.6〜24.0トークン/秒を報告している。

図解edge0-35bのプラットフォーム別公式測定(ベンチマーク文書、著者報告)
  • Apple M5 16GiB Metal

    decode速度
    24.8〜24.9 tok/s
    メモリピーク
    3.43GiB
    備考
    3,084トークン入力。actual比で約55%速い
  • iPhone 17 Pro Max Metal

    decode速度
    13.2 tok/s
    メモリピーク
    3.05GiB
    備考
    12GB機、627トークン入力
  • OnePlus PKR110 CPU

    decode速度
    11.4〜11.8 tok/s
    メモリピーク
    2.82GiB
    備考
    Snapdragon 8 Elite、16GB、RSS
  • Core i5-12400 CPU

    decode速度
    7.3〜8.2 tok/s
    メモリピーク
    2.86GiB
    備考
    Windows 32GB、working set
  • RTX 4070 SUPER Vulkan

    decode速度
    23.6〜24.0 tok/s
    メモリピーク
    GPU+5.35GiB
    備考
    両フェーズをGPUで実行、32スロット

edge0-infer/docs/benchmarking.mdの著者測定。各3プロセスの最小〜最大。メモリの定義はOSごとに異なり(macOS/iOSはphys_footprint、AndroidはRSS、Windowsはworking set)、数字の直接比較はできない。ストレージ容量やモデル資産のサイズは含まない。

品質はfp16ベースより平均3.9点低い

品質はOpenCompassで、int4+LoRA+prerouterの構成とfp16のベースモデルを同一条件で比べた。edge0-35bの5ベンチマーク平均は79.2で、ベースのQwen3.6-35B-A3B(fp16)の83.2より3.9点低い。edge0-8bは69.9対72.7で2.8点の差だ。内訳では、8bのMMLU-Proだけが70.1でベースの65.8を上回り、35bのMMLU-Proは81.0対84.6で下回る。実行に必要なのは速度より先にディスクで、35Bの実行には元の重み約18GBと変換後の資産約20GBの保存領域、変換中はさらに同程度の空き容量が必要とREADMEに書かれている。ピークメモリ3.4GiBはモデル資産の合計サイズを示す値ではない。

図解edge0の公開経過(リポジトリREADMEのNews節)
  1. 初期公開

    edge0をOSS公開し、Edge0-35B-A3B-previewとEdge0-8B-A1B-previewをHugging FaceとModelScopeに置いた。

  2. 技術報告

    The Other Half of the Memory WallをarXiv:2609.18063で公開。

  3. 4プラットフォーム

    iOS・macOS・Android・Windows向けの推論エンジンを公開(現pre-edge0-inferタグ)。

  4. 統合エンジン

    GGMLベースのedge0-inferを公開。最初の対応モデルはedge0-35b。

Edge0リポジトリREADMEのNews節(2026-11-12確認)。

edge0-8bの統合エンジン対応は今後の予定で、技術報告の段階では8bはより小さいメモリで動いた(M4 Pro 24GBで28.0トークン/秒、ピーク活性メモリ1.5GiB)。測定値はいずれも著者の報告で、第三者による独立した実測は今回の確認時点で見つからない。メモリの代わりにストレージの読み出しに負荷を移す設計のため、実性能はSSDの速度やI/O、端末の熱設計にも左右される。読み出し量の増加がSSDの寿命に与える影響については、公開資料の範囲では確認できなかった。

出典

  1. Edge0-AI/Edge0(GitHubリポジトリREADME)2026-11-04のedge0-infer公開、Apache-2.0、prerouter最大+59%の記載、品質比較表、必要な保存領域(約18GB+約20GB)を確認。確認日 2026-11-12
  2. edge0-infer/README.md(Edge0リポジトリ内)統合エンジンの構成(CLI、OpenAI互換・Anthropic互換サーバー、チャットアプリ)、対応プラットフォーム、Expertのオンデマンド読み込みを確認。確認日 2026-11-12
  3. edge0-infer/docs/benchmarking.md(Reference figures)Apple M5 Metal 24.8〜24.9 tok/s・3.43GiB、actual 15.9〜16.1 tok/s、各プラットフォームの測定値とメモリ指標の定義を確認。確認日 2026-11-12
  4. The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction(arXiv:2609.18063、PDF全文)2026-09-16公開。35Bの4bit重み19.5GB、活性化約3B/トークン、M4 Pro 24GBで20.4 tok/s・ピーク活性メモリ2.9GiB、prerouter無効時19.9 tok/s、M2 16GBのA/Bで+80〜84%を確認。確認日 2026-11-12
  5. Edge0/Edge0-35B-A3B-preview(Hugging Face)重み。作成2026-09-08、ライセンス表記apache-2.0、arxiv:2609.18063タグ付き(Hugging Face API実測)。確認日 2026-11-12

出典の確認日 2026.11.12

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. Edge0、単一GPUの145B・120B Latent MoEモデルを公開──Qwen3.8-Flash-Next由来で4ビット学習、RTX 5090 D 24GBでagent decode 121.2 tok/sを報告

    Edge0は2026年11月13日、単一のNVIDIA GPUで動く大規模Latent MoEモデル「Edge0-145B」「Edge0-120B」を公開した。Qwen3.8-Flash-Nextを由来に4ビットで学習したモデルで、Q3_KとNVFP4の重みをHugging Faceで配る。動かすのはSSDやRAMから重みを供給するStrataフォークのedge0-strataで、Linux・WindowsのCUDA 13のほか、Apple SiliconのMetalでQ3_Kが動く。公式READMEのRTX 5090 D 24GB測定では、145B Q3_Kのagent decodeが121.2 tok/s、16K prefillが3554.9 tok/s。精度はモデル単位の測定でTerminal-Bench 2.1が145B 86.5・120B 75.3。コードはApache-2.0、重みは商用提供を別条件とするEdge0 Community Model License v1.0だ。

    記事を読む
  2. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  3. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む