NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Microsoft、画面操作とbashを1つのモデルで選ぶ4BのPC操作AI「Mage-VL-Cowork」を公開――OSWorld-Verifiedで66.0%は研究チームの評価

MicrosoftのMageチームは2026年10月30日、スクリーンショットを見てGUIを操作する動作と、シェルやPythonでファイルを直接編集する動作を1つのモデルで選択できる4B規模のPC操作AI「Mage-VL-Cowork」の重みとコードを公開しました。重みはApache-2.0で、研究チームの評価ではOSWorld-Verifiedの361タスクで66.0%を報告しています。評価条件は50ステップ上限やGoogle Drive除外などで、数値は研究チーム自身のもので独立した再現ではありません。

MicrosoftのMageチームは、画面を見てマウスやキーボードを操作するGUIエージェントと、ターミナルでコマンドやPythonを実行してファイルを編集するエージェントの役割を、1つのモデルにまとめた「Mage-VL-Cowork」を公開しました。モデル重みはHugging FaceでApache-2.0ライセンスで公開され、プロジェクトページとGitHubのコードに訓練手順や評価の詳細が説明されています。Hugging FaceのAPIによるとモデルの作成日時は2026年10月30日12時13分(UTC)です。

「「クリックすべきときと、コードを書くべきときを判断する4Bの単一ポリシー」」

One 4B policy that knows when to click—and when to code.

Microsoft Mageチーム「Mage-VL-Cowork」プロジェクトページ(2026-11-01確認)

1つのモデルがGUIとbashを選び分ける

モデルカードによると、Mage-VL-Coworkは4Bの画像とテキスト入力モデルで、バックボーンに自社の視覚エンコーダーMage-ViTとQwen3-4Bを組み合わせます。動作の選択肢は、正規化座標で指定する11種類のGUI操作(computer_use)と、永続的なシェルとPython実行環境(bash)の2チャネルで、外部の振り分け用オーケストレーターは不要です。出力は思考の要約、動作の説明、ツール呼び出しの3部構成で、作業記憶としては直近3枚のスクリーンショットと4件の完全な応答を保持します。コンテキスト長は学習と推論の実動作が32,768トークンで、アーキテクチャ上は最大262,144トークンに対応すると説明されています。重みはbfloat16で2ファイル計9.48GB、カスタムアーキテクチャのためtransformersのtrust_remote_code設定が必要です。

図解1回の動作決定の流れ
  1. 01 観測

    スクリーンショットと履歴

    直近3枚のスクリーンショットと過去の応答を作業記憶として入力する

  2. 02 判断

    思考の要約

    次の動作の理由を考えたうえで、GUIとbashのどちらを使うか決める

  3. 03 実行

    GUI操作またはbash

    11種のGUI操作か、永続的なシェルとPython実行環境のどちらかを動かす

  4. 04 反映

    結果を履歴へ

    実行結果を作業記憶に反映し、タスク完了まで動作を繰り返す

Hugging Faceのモデルカードにある動作チャネル、出力形式、作業記憶の説明による。

訓練は5段階、タスク生成の仕組みも公開

訓練は、中間学習、GUI向けの学習、コードとターミナル向けの学習、その統合(Hybrid SFT)、オンラインの強化学習という5段階で進められます。タスク生成では、合成エンジンのMage-CUA-Forgeが293,806タスクを6,915の基礎スキルにわたって生成し、タスクごとの生成費用を82.6%削減したと報告されています。検証済みのハイブリッド軌跡は318,837件(GUI呼び出し68.19%、ターミナル呼び出し31.81%)です。強化学習はHybrid SFT後の55.84%から66.0%へ10.16ポイント成功率を上げ、タスクあたりのモデル呼び出しは21.57回から18.77回へ13.0%減、出力トークンは7,374から5,499へ25.4%減ったと研究チームは報告しています。

図解Hybrid SFT後と強化学習後の比較
  • OSWorld-Verified

    Hybrid SFT後
    55.84%
    Online RL後
    66.0%
  • タスクあたりのモデル呼び出し

    Hybrid SFT後
    21.57回
    Online RL後
    18.77回
  • タスクあたりの出力トークン

    Hybrid SFT後
    7,374
    Online RL後
    5,499

Hugging Faceのモデルカードが報告する研究チームの実験値。OSWorld-Verifiedは361タスク(Google Driveを除外)・50ステップ上限・2回の独立実行の平均という条件。

性能の報告は、OSWorld-Verifiedの361タスク(Google Driveを除外)を50ステップ上限、画面解像度1920×1080の条件で評価したもので、独立した2回の全タスク実行の平均が65.33%と66.75%、あわせて66.0%(66.04%)です。項目別ではOperating Systemタスクで87.5%、複数アプリケーションの作業で62.7%に達したとされます。研究チームは66.0%を4B規模での最高水準と位置付けていますが、これは同チームの評価であり、第三者による再現ではありません。

安全面の説明も公開されています。READMEでは、bashで任意のコマンドを実行できる性質から、Dockerコンテナやスナップショット復元する仮想マシンのような隔離された使い捨てサンドボックス環境向けに設計・評価されたと説明し、ホストのファイルシステムやローカルネットワーク、個人の環境変数にアクセスさせないこと、不可逆な操作の前に人間の確認を要求すること、SSH鍵やクラウドトークンをエージェントの作業空間に持ち込まないこと、外部の信頼できないコンテンツを評価するときは送信先ネットワークを制限することを推奨しています。

既存のMage-VL(画像と動画の理解)やMage-Flow(画像生成)は別用途のモデルで、Mage-VL-CoworkはそのPC操作向けの派生です。公開資料には料金や商用提供の形態はなく、実運用での誤操作率や安全性の評価もありません。小型モデルがPC操作でどこまで達成できるかは、第三者による再現結果と、bash権限を安全に包む運用設計が広く共有されるかどうかにかかっています。

出典

  1. microsoft/Mage-VL-Cowork(Hugging Faceモデルカード、2026-10-30公開(APIのcreatedAt 2026-10-30T12:13:24Z)、2026-11-01全文確認)一次資料。Apache-2.0・4B(bfloat16で9.48GB、2シャード)・Mage-ViT+Qwen3-4B・コンテキスト32,768(アーキテクチャ上は最大262,144)・GUI操作11種とbashの2チャネル・出力3部構成・作業記憶(直近3枚のスクリーンショット等)・OSWorld-Verified 66.0%(66.04%、361タスク・Google Drive除外・50ステップ・2回平均65.33/66.75)・5段階訓練とMage-CUA-Forge(293,806タスク・6,915スキル・82.6%削減・318,837軌跡)・RL効果(+10.16ポイント、呼び出し−13.0%、出力トークン−25.4%)・訓練計算7.79 ZFLOPs(B200 32基・CPUサンドボックス1,120スロット)・trust_remote_codeの必要性
  2. Mage-VL-Cowork: 4B Hybrid GUI + Code Computer-Use Agent(Microsoft Mage プロジェクトページ、2026-11-01全文確認)一次資料。5段階カリキュラムの概要・66.0%(50ステップ上限)・RL効果の数値・4Bでの最高水準という研究チームの位置付け・既存Mage-VL・Mage-Flowとの関係
  3. mage_vl_cowork/README.md(GitHub microsoft/Mage、2026-11-01全文確認)一次資料。使い捨てサンドボックス(Docker・スナップショット復元VM)向けに設計・評価された旨・ホストアクセスの遮断・不可逆操作の人間確認・認証情報の非持ち込み・ネットワーク許可リストの推奨・OSWorld-Verified再現スイート(361タスク・50ステップ)の同梱

出典の確認日 2026.11.01

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. Microsoft、自社コーディングモデルMAI Code 2とCode 2 FlashをGitHub Copilotで一般提供──FoundryのFlashは限定プレビュー、性能比較は同社測定

    マイクロソフトは2026年11月17日、Ignite 2026の基調講演でMAI系コーディングモデル「MAI Code 2」と「MAI Code 2 Flash」を発表した。GitHub Copilotではモデル選択とCopilot Fusionの一部として両モデルを一般提供し、Microsoft FoundryではCode 2 Flashを限定アクセスプレビューで提供する。発表によると、MAI Code 2は4ベンチマーク平均でGPT-6.1 Solの98%の性能をコスト40%で、Claude Opus 5.5の96%をコスト5%で達成する。数値はすべて同社の測定で、コスト表記は50%のプロモーション価格に基づく。

    記事を読む
  2. Microsoft、WindowsのローカルAI基盤をPhi SilicaからAion Instructへ移行へ――2.3Bモデル・32Kトークン、RTXやRDNA4世代のGPUにも拡大

    Microsoftは2026年11月13日、Windows標準のオンデバイス言語モデル基盤をPhi Silicaから新しいAion Instructへ段階的に移行する計画を、開発者向けのMicrosoft Foundry on Windows Blogで発表した。公式の比較表では、パラメータ数はPhi Silicaの3.8Bに対しAion Instructは2.3B、入力コンテキスト上限は3.5Kトークンから32Kトークンに拡大する。2026年10月から開発者検証用の単体パッケージをaka.ms/tryaionで提供しており、2026年11月20日にWindows Insider Preview端末への展開を開始し、2027年1月に零售端末へ展開して移行を完了する計画だ。あわせてNVIDIAのRTXシリーズやAMDのRDNA4世代といったdGPUを含む対応GPUへの拡大を進め、Aion InstructではLimited Access Feature(LAF)トークンが不要になる(撤廃は1月を予定)。旧モデル向けに学習したLoRAは非互換で再学習が必要で、出力には特定地域のText Provenance要件に対応する不可視ウォーターマークが挿入される。性能の技術レポートは今後の公開とされ、独立ベンチマークはまだない。

    記事を読む
  3. Microsoft、GitHub製のCopilot harnessをFoundryで公開プレビュー――12月からサンドボックス従量課金、SDKは一般提供

    Microsoftは2026年10月28日、GitHubが開発したエージェント実行基盤「Microsoft Copilot harness」をMicrosoft Foundry Agent Serviceの公開プレビューとして公開しました。Copilot CodeやCopilot Studio、GitHub Copilotアプリ、CLI、VS Codeなどを支えてきた共通基盤を外部開発者に開放するもので、20以上のフロンティアモデルに対応すると会社側は説明しています。あわせてプログラム用のSDK(MITライセンス)が一般提供中で、Foundryでのサンドボックス従量課金は2026年12月1日から始まります。

    記事を読む