Edge0プロジェクトは2026年11月4日、GGMLベースの統合推論エンジンedge0-inferをApache-2.0で公開した(GitHubのEdge0-AI/Edge0リポジトリ、作成は2026年9月8日、1万80スター、GitHub API実測)。それまでのPythonフレームワークとプラットフォーム別エンジンを置き換え、旧コードはpre-edge0-inferタグに残る。対応はmacOS(Apple Silicon)のMetalとCPU、iOSのMetal、AndroidのCPU、LinuxのCPU、WindowsのCPUとVulkan。最初のリリースが動かすのはedge0-35bで、edge0-8bは今後の予定とREADMEに記載がある。本記事はこの2026年11月4日時点の公開内容を対象にする。
「Expertの重みは必要になった時点で固定数のスロットへストレージから読み込まれる。そのため、デバイスのメモリ予算を超えるモデルでも、重み全体を読み込まずに動く。」
Expert weights are loaded from storage on demand into a fixed pool of slots, so a model larger than the device memory budget runs without loading all of its weights.
SSDからExpertを読み、1トークン先を予測する
背景にある問題を技術報告(arXiv:2609.18063)はこう整理する。35B級MoEの重みは4bitでも19.5GBあり、トークンごとの活性化パラメータは約3Bにとどまる。スパース性は1トークンの計算量を減らすが、保持しなければならないバイト数は減らさない。さらに層N+1のExpert選択には層Nの出力が必要なため、単純にSSDへ退避させても読み出しを計算の陰に隠せない。
edge0の構成は3つだ。SSD expert offloadはExpertの重みを必要になった時点で読み込み、ピークメモリを活性化するExpertの集合で抑える。prerouterは層ごとの小さなheadで次のトークンのルーティングを1ステップ先に予測し、その予測を実際のルーティングとして使う。現在のトークンを計算している間に、次に使うExpertの読み出しが進む。Recover-LoRAはint4化したベースの重みを凍結したまま、FPの教師モデルからの蒸留で4bit化とルーティング置き換えによる品質低下を回復する。アダプタはベースとは別に保存され、付け外しが可能だ。edge0-35bのベースはQwen3.6-35B-A3Bで、40層×256Expert+共有Expert、ルーティング幅K=4、4bit。
- 01 現トークン計算
トークンt
各層が予測済みのExpertで計算を進める。
- 02 prerouter予測
1ステップ先
層ごとのheadがトークンt+1のルーティングを先に予測し、予測をそのままルーティングに使う。
- 03 裏で読み出し
固定スロット
予測されたExpertをSSDから固定数のスロットへ読み込む。読み出し待ちで止まらない。
- 04 次トークン計算
トークンt+1
読み込み済みのExpertで計算する。actualモードでは各層がルーティング結果を待ってから読み出す。
Edge0リポジトリREADME、edge0-inferのアーキテクチャ文書、arXiv:2609.18063に基づく。prerouterの効果は著者報告。
公式測定ではM5のMetalで24.8〜24.9トークン/秒
リポジトリのベンチマーク文書は、機種ごとに3プロセスの最小〜最大を載せる。Apple M5 16GiBのMetalで3,084トークンを入力すると、初トークンまで5.60〜5.87秒、decodeは24.8〜24.9トークン/秒、ピーク物理メモリ(phys_footprint)は3.43GiBだった。同じ条件でprerouterを使わないactualルーティングは15.9〜16.1トークン/秒なので、予測モードは約55%速い。READMEはprerouterの効果を「最大+59%のdecode高速化」と記載する。ほかの機種では、iPhone 17 Pro Max(12GB)で13.2トークン/秒、OnePlus PKR110(Snapdragon 8 Elite、16GB)で11.4〜11.8トークン/秒、Core i5-12400のWindows CPUで7.3〜8.2トークン/秒、RTX 4070 SUPERのVulkanで23.6〜24.0トークン/秒を報告している。
Apple M5 16GiB Metal
- decode速度
- 24.8〜24.9 tok/s
- メモリピーク
- 3.43GiB
- 備考
- 3,084トークン入力。actual比で約55%速い
iPhone 17 Pro Max Metal
- decode速度
- 13.2 tok/s
- メモリピーク
- 3.05GiB
- 備考
- 12GB機、627トークン入力
OnePlus PKR110 CPU
- decode速度
- 11.4〜11.8 tok/s
- メモリピーク
- 2.82GiB
- 備考
- Snapdragon 8 Elite、16GB、RSS
Core i5-12400 CPU
- decode速度
- 7.3〜8.2 tok/s
- メモリピーク
- 2.86GiB
- 備考
- Windows 32GB、working set
RTX 4070 SUPER Vulkan
- decode速度
- 23.6〜24.0 tok/s
- メモリピーク
- GPU+5.35GiB
- 備考
- 両フェーズをGPUで実行、32スロット
edge0-infer/docs/benchmarking.mdの著者測定。各3プロセスの最小〜最大。メモリの定義はOSごとに異なり(macOS/iOSはphys_footprint、AndroidはRSS、Windowsはworking set)、数字の直接比較はできない。ストレージ容量やモデル資産のサイズは含まない。
品質はfp16ベースより平均3.9点低い
品質はOpenCompassで、int4+LoRA+prerouterの構成とfp16のベースモデルを同一条件で比べた。edge0-35bの5ベンチマーク平均は79.2で、ベースのQwen3.6-35B-A3B(fp16)の83.2より3.9点低い。edge0-8bは69.9対72.7で2.8点の差だ。内訳では、8bのMMLU-Proだけが70.1でベースの65.8を上回り、35bのMMLU-Proは81.0対84.6で下回る。実行に必要なのは速度より先にディスクで、35Bの実行には元の重み約18GBと変換後の資産約20GBの保存領域、変換中はさらに同程度の空き容量が必要とREADMEに書かれている。ピークメモリ3.4GiBはモデル資産の合計サイズを示す値ではない。
初期公開
edge0をOSS公開し、Edge0-35B-A3B-previewとEdge0-8B-A1B-previewをHugging FaceとModelScopeに置いた。
技術報告
The Other Half of the Memory WallをarXiv:2609.18063で公開。
4プラットフォーム
iOS・macOS・Android・Windows向けの推論エンジンを公開(現pre-edge0-inferタグ)。
統合エンジン
GGMLベースのedge0-inferを公開。最初の対応モデルはedge0-35b。
Edge0リポジトリREADMEのNews節(2026-11-12確認)。
edge0-8bの統合エンジン対応は今後の予定で、技術報告の段階では8bはより小さいメモリで動いた(M4 Pro 24GBで28.0トークン/秒、ピーク活性メモリ1.5GiB)。測定値はいずれも著者の報告で、第三者による独立した実測は今回の確認時点で見つからない。メモリの代わりにストレージの読み出しに負荷を移す設計のため、実性能はSSDの速度やI/O、端末の熱設計にも左右される。読み出し量の増加がSSDの寿命に与える影響については、公開資料の範囲では確認できなかった。
出典
- Edge0-AI/Edge0(GitHubリポジトリREADME)2026-11-04のedge0-infer公開、Apache-2.0、prerouter最大+59%の記載、品質比較表、必要な保存領域(約18GB+約20GB)を確認。確認日 2026-11-12
- edge0-infer/README.md(Edge0リポジトリ内)統合エンジンの構成(CLI、OpenAI互換・Anthropic互換サーバー、チャットアプリ)、対応プラットフォーム、Expertのオンデマンド読み込みを確認。確認日 2026-11-12
- edge0-infer/docs/benchmarking.md(Reference figures)Apple M5 Metal 24.8〜24.9 tok/s・3.43GiB、actual 15.9〜16.1 tok/s、各プラットフォームの測定値とメモリ指標の定義を確認。確認日 2026-11-12
- The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction(arXiv:2609.18063、PDF全文)2026-09-16公開。35Bの4bit重み19.5GB、活性化約3B/トークン、M4 Pro 24GBで20.4 tok/s・ピーク活性メモリ2.9GiB、prerouter無効時19.9 tok/s、M2 16GBのA/Bで+80〜84%を確認。確認日 2026-11-12
- Edge0/Edge0-35B-A3B-preview(Hugging Face)重み。作成2026-09-08、ライセンス表記apache-2.0、arxiv:2609.18063タグ付き(Hugging Face API実測)。確認日 2026-11-12
出典の確認日 2026.11.12