NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

EngineAgent、スマートフォンへのLLM移植をエンジン階層の理解と実機検証で自動化──12タスクで成功率75%、最強の比較対象は33.3%

上海交通大学とAlibaba Groupの研究者9名(責任著者は同大学のChaoyue Niu氏)は2026年11月10日、オンデバイス推論エンジンへの新しいLLMの追加を自動化するエージェントシステムEngineAgentをarXivで公開した(arXiv:2611.14356)。MNN・llama.cpp・MLC-LLM・ExecuTorchの4つのエンジン/バックエンド組(CPU・GPU・NPU)とQwen3.5-2B、Gemma4-E2B-it、MiniCPM-V 4.6の3モデルの12タスクで、基盤LLMのDeepSeek-V4-FlashとGPT-5.6 Solのどちらでもエンドツーエンド成功率は75%(9/12)だった。比較した最強のコーディングエージェント(Codex+GPT-5.6 Sol)は33.3%(4/12)。成功判定はコンパイル、実機での実行、ホスト側PyTorch参照との出力logitの一致と論文は定義する。平均時間とモデルAPI費用も比較対象より少ないと報告している。査読前で、コードの公式公開は本稿執筆時点で確認できていない。

オンデバイス推論エンジンに新しいモデルを追加する作業は、モデル変換、計算グラフ構築、演算子、ハードウェア固有カーネルまで複数の階層にまたがる修正を要する。論文は実例として、Qwen3.5-2BをMNNで対応させたときに42ファイル・4,200行超(エクスポートと実行ランタイム、形状推論、CPUとGPUの両バックエンド)、テキスト限定のCPU対応だけでもExecuTorchで20ファイル・1,000行超の変更に触れたと述べ、モデル公開から初回の端末対応まで最大30日かかる場合があると記す。既存のコーディングエージェントはリポジトリ探索と局所的な修正には能力を見せる一方、層をまたぐ依存の見落としと、ホスト・デバイス間の実行経路にまたがる失敗の診断でつまずきやすい、と論文は分析する。

EngineAgentの核心は、再利用できるエンジンとハードウェアの知識を、モデル固有の実装から分離することだ。事前段階で、エンジンの抽象階層とコード実体を対応づけ、層をまたぐ依存を示す階層インデックスを構築し、すでに対応済みのモデルでバックエンド別のビルド・実行・デバッグ手順(Skill)を検証しておく。新しいモデルの対応では、builderが階層インデックスに沿って横断的な実装を計画・実行し、red-teamとして振る舞う独立したauditorが層別のチェックと実機でのエンドツーエンド検証を通すまで受理しない。失敗は実機デバッグの支援を受けたdebugger経由でbuilderへ戻る。最後に、ルールベースの非エージェント検証器が、ホスト側PyTorch参照との出力logitを照合し、許容誤差を超える偏差の実装を差し戻す。

「成功にはコンパイル、実機での実行、参照実装との出力logitの一致が必要とされる。」

Success requires compilation, on-device execution, and output-logit agreement with reference implementations.

論文要旨(arXiv:2611.14356、2026-11-10)

測定結果

評価は、Qwen3.5-2B、Gemma4-E2B-it、MiniCPM-V 4.6の3つのモバイルLLMと、MNN–CPU、llama.cpp–Vulkan、MLC-LLM–OpenCL、ExecuTorch–QNNの4つのエンジン/バックエンド組にわたる12タスクで、1タスクは1モデルを1エンジン/バックエンドに対応させる。比較対象は、SWE-Agent、OpenCode、CodeGraph+OpenCode+AgenTracer(オープンソースのフレームワークはDeepSeek-V4-Flashを基盤)、Codex(GPT-5.6 Sol)。EngineAgentは基盤LLMのどちらでも9/12(75%)で、最強の比較対象であるCodex+GPT-5.6 Solの4/12(33.3%)を上回った。OpenCodeとCodeGraph系は1/12、SWE-Agentは0/12だった。時間と費用は、DeepSeek-V4-Flash構成でEngineAgentの平均3.82時間・1.53ドルが比較対象の4.78〜4.91時間・2.11〜2.44ドルに対し、GPT-5.6 Sol構成ではEngineAgentの4.16時間・11.29ドルがCodexの4.82時間・14.90ドルに対して少ないと論文のTable 3に記載がある。

図解EngineAgentの2段階の流れ
  1. 01 事前準備

    階層インデックスを構築

    エンジンの抽象層とコード実体を対応づけ、層をまたぐ依存を整理。既存モデルでビルド・実行・デバッグのSkillも検証

  2. 02 新モデル

    builderが横断実装

    変換・グラフ構築・演算子・ハードウェアバックエンドへの変更を階層インデックスに沿って計画・実装

  3. 03 検査

    auditorが完全性を検査

    red-team監査者が層別のチェックと実機でのエンドツーエンド検証を通すまで受理しない

  4. 04 修正

    debuggerが実機デバッグ

    失敗はハードウェア別の診断支援つきでbuilderへ返す

  5. 05 最終検証

    logit照合

    ルールベースの検証器がホスト側PyTorch参照と出力logitを照合し、許容誤差を超えたら差し戻す

論文§4〜§5(2026-11-17確認)。エージェント3役と検証器の分担、事前検証の考え方は原文明記。

図解12タスクの結果(論文Table 3)
  • SWE-Agent(DeepSeek-V4-Flash)

    成功率
    0/12
    平均時間
    4.85時間
    API費用
    2.11ドル
  • OpenCode(DeepSeek-V4-Flash)

    成功率
    1/12
    平均時間
    4.78時間
    API費用
    2.28ドル
  • CodeGraph+OpenCode+AgenTracer(同)

    成功率
    1/12
    平均時間
    4.91時間
    API費用
    2.44ドル
  • EngineAgent(DeepSeek-V4-Flash)

    成功率
    9/12(75%)
    平均時間
    3.82時間
    API費用
    1.53ドル
  • Codex(GPT-5.6 Sol)

    成功率
    4/12(33.3%)
    平均時間
    4.82時間
    API費用
    14.90ドル
  • EngineAgent(GPT-5.6 Sol)

    成功率
    9/12(75%)
    平均時間
    4.16時間
    API費用
    11.29ドル

論文Table 3(2026-11-17確認)。成功はコンパイル・実機実行・参照実装とのlogit一致。時間と費用は著者の測定値で、実験環境の条件に依存する。

この研究はモデル自体の改良ではなく、モデルの更新を推論エンジン側に追従させる開発工程の自動化を扱う。成功率は12タスクという限定的な規模の著者実験値で、汎用のコーディング成功率を意味しない。75%は9/12、33.3%は4/12に相当し、比較対象のベースラインは論文が挙げた構成に依存する。時間と費用の数値も著者の測定条件下の値だ。EngineAgent本体の公式コード公開は本稿執筆時点(2026-11-17)で確認できず、再現には論文の記述しかない。実機の機種・OS・ドライバの条件は論文の実験環境に依存し、本番品質やセキュリティを保証するものではない。

出典

  1. EngineAgent: Agentizing On-Device LLM Inference Engines with Inference Stack Hierarchy Awareness and Hardware Abilities(arXiv:2611.14356)一次資料(2026-11-10提出、2026-11-17に要約とHTML本文を確認)。75%対33.3%、成功判定の3条件、Table 3の時間・費用、12タスクの構成(3モデル×4エンジン/バックエンド)、移植負担の実例、著者9名の所属と責任著者
  2. arXiv HTML本文(arXiv:2611.14356v1)一次資料(2026-11-17確認)。§4のシステム設計(階層インデックス・Skill・builder/debugger/auditor)、§5の評価設定とTable 3、logit照合の検証器の記述、CC BY 4.0表示

出典の確認日 2026.11.17

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む