オンデバイス推論エンジンに新しいモデルを追加する作業は、モデル変換、計算グラフ構築、演算子、ハードウェア固有カーネルまで複数の階層にまたがる修正を要する。論文は実例として、Qwen3.5-2BをMNNで対応させたときに42ファイル・4,200行超(エクスポートと実行ランタイム、形状推論、CPUとGPUの両バックエンド)、テキスト限定のCPU対応だけでもExecuTorchで20ファイル・1,000行超の変更に触れたと述べ、モデル公開から初回の端末対応まで最大30日かかる場合があると記す。既存のコーディングエージェントはリポジトリ探索と局所的な修正には能力を見せる一方、層をまたぐ依存の見落としと、ホスト・デバイス間の実行経路にまたがる失敗の診断でつまずきやすい、と論文は分析する。
EngineAgentの核心は、再利用できるエンジンとハードウェアの知識を、モデル固有の実装から分離することだ。事前段階で、エンジンの抽象階層とコード実体を対応づけ、層をまたぐ依存を示す階層インデックスを構築し、すでに対応済みのモデルでバックエンド別のビルド・実行・デバッグ手順(Skill)を検証しておく。新しいモデルの対応では、builderが階層インデックスに沿って横断的な実装を計画・実行し、red-teamとして振る舞う独立したauditorが層別のチェックと実機でのエンドツーエンド検証を通すまで受理しない。失敗は実機デバッグの支援を受けたdebugger経由でbuilderへ戻る。最後に、ルールベースの非エージェント検証器が、ホスト側PyTorch参照との出力logitを照合し、許容誤差を超える偏差の実装を差し戻す。
「成功にはコンパイル、実機での実行、参照実装との出力logitの一致が必要とされる。」
Success requires compilation, on-device execution, and output-logit agreement with reference implementations.
測定結果
評価は、Qwen3.5-2B、Gemma4-E2B-it、MiniCPM-V 4.6の3つのモバイルLLMと、MNN–CPU、llama.cpp–Vulkan、MLC-LLM–OpenCL、ExecuTorch–QNNの4つのエンジン/バックエンド組にわたる12タスクで、1タスクは1モデルを1エンジン/バックエンドに対応させる。比較対象は、SWE-Agent、OpenCode、CodeGraph+OpenCode+AgenTracer(オープンソースのフレームワークはDeepSeek-V4-Flashを基盤)、Codex(GPT-5.6 Sol)。EngineAgentは基盤LLMのどちらでも9/12(75%)で、最強の比較対象であるCodex+GPT-5.6 Solの4/12(33.3%)を上回った。OpenCodeとCodeGraph系は1/12、SWE-Agentは0/12だった。時間と費用は、DeepSeek-V4-Flash構成でEngineAgentの平均3.82時間・1.53ドルが比較対象の4.78〜4.91時間・2.11〜2.44ドルに対し、GPT-5.6 Sol構成ではEngineAgentの4.16時間・11.29ドルがCodexの4.82時間・14.90ドルに対して少ないと論文のTable 3に記載がある。
- 01 事前準備
階層インデックスを構築
エンジンの抽象層とコード実体を対応づけ、層をまたぐ依存を整理。既存モデルでビルド・実行・デバッグのSkillも検証
- 02 新モデル
builderが横断実装
変換・グラフ構築・演算子・ハードウェアバックエンドへの変更を階層インデックスに沿って計画・実装
- 03 検査
auditorが完全性を検査
red-team監査者が層別のチェックと実機でのエンドツーエンド検証を通すまで受理しない
- 04 修正
debuggerが実機デバッグ
失敗はハードウェア別の診断支援つきでbuilderへ返す
- 05 最終検証
logit照合
ルールベースの検証器がホスト側PyTorch参照と出力logitを照合し、許容誤差を超えたら差し戻す
論文§4〜§5(2026-11-17確認)。エージェント3役と検証器の分担、事前検証の考え方は原文明記。
SWE-Agent(DeepSeek-V4-Flash)
- 成功率
- 0/12
- 平均時間
- 4.85時間
- API費用
- 2.11ドル
OpenCode(DeepSeek-V4-Flash)
- 成功率
- 1/12
- 平均時間
- 4.78時間
- API費用
- 2.28ドル
CodeGraph+OpenCode+AgenTracer(同)
- 成功率
- 1/12
- 平均時間
- 4.91時間
- API費用
- 2.44ドル
EngineAgent(DeepSeek-V4-Flash)
- 成功率
- 9/12(75%)
- 平均時間
- 3.82時間
- API費用
- 1.53ドル
Codex(GPT-5.6 Sol)
- 成功率
- 4/12(33.3%)
- 平均時間
- 4.82時間
- API費用
- 14.90ドル
EngineAgent(GPT-5.6 Sol)
- 成功率
- 9/12(75%)
- 平均時間
- 4.16時間
- API費用
- 11.29ドル
論文Table 3(2026-11-17確認)。成功はコンパイル・実機実行・参照実装とのlogit一致。時間と費用は著者の測定値で、実験環境の条件に依存する。
この研究はモデル自体の改良ではなく、モデルの更新を推論エンジン側に追従させる開発工程の自動化を扱う。成功率は12タスクという限定的な規模の著者実験値で、汎用のコーディング成功率を意味しない。75%は9/12、33.3%は4/12に相当し、比較対象のベースラインは論文が挙げた構成に依存する。時間と費用の数値も著者の測定条件下の値だ。EngineAgent本体の公式コード公開は本稿執筆時点(2026-11-17)で確認できず、再現には論文の記述しかない。実機の機種・OS・ドライバの条件は論文の実験環境に依存し、本番品質やセキュリティを保証するものではない。
出典
- EngineAgent: Agentizing On-Device LLM Inference Engines with Inference Stack Hierarchy Awareness and Hardware Abilities(arXiv:2611.14356)一次資料(2026-11-10提出、2026-11-17に要約とHTML本文を確認)。75%対33.3%、成功判定の3条件、Table 3の時間・費用、12タスクの構成(3モデル×4エンジン/バックエンド)、移植負担の実例、著者9名の所属と責任著者
- arXiv HTML本文(arXiv:2611.14356v1)一次資料(2026-11-17確認)。§4のシステム設計(階層インデックス・Skill・builder/debugger/auditor)、§5の評価設定とTable 3、logit照合の検証器の記述、CC BY 4.0表示
出典の確認日 2026.11.17