MicrosoftのMageチームは、画面を見てマウスやキーボードを操作するGUIエージェントと、ターミナルでコマンドやPythonを実行してファイルを編集するエージェントの役割を、1つのモデルにまとめた「Mage-VL-Cowork」を公開しました。モデル重みはHugging FaceでApache-2.0ライセンスで公開され、プロジェクトページとGitHubのコードに訓練手順や評価の詳細が説明されています。Hugging FaceのAPIによるとモデルの作成日時は2026年10月30日12時13分(UTC)です。
「「クリックすべきときと、コードを書くべきときを判断する4Bの単一ポリシー」」
One 4B policy that knows when to click—and when to code.
1つのモデルがGUIとbashを選び分ける
モデルカードによると、Mage-VL-Coworkは4Bの画像とテキスト入力モデルで、バックボーンに自社の視覚エンコーダーMage-ViTとQwen3-4Bを組み合わせます。動作の選択肢は、正規化座標で指定する11種類のGUI操作(computer_use)と、永続的なシェルとPython実行環境(bash)の2チャネルで、外部の振り分け用オーケストレーターは不要です。出力は思考の要約、動作の説明、ツール呼び出しの3部構成で、作業記憶としては直近3枚のスクリーンショットと4件の完全な応答を保持します。コンテキスト長は学習と推論の実動作が32,768トークンで、アーキテクチャ上は最大262,144トークンに対応すると説明されています。重みはbfloat16で2ファイル計9.48GB、カスタムアーキテクチャのためtransformersのtrust_remote_code設定が必要です。
- 01 観測
スクリーンショットと履歴
直近3枚のスクリーンショットと過去の応答を作業記憶として入力する
- 02 判断
思考の要約
次の動作の理由を考えたうえで、GUIとbashのどちらを使うか決める
- 03 実行
GUI操作またはbash
11種のGUI操作か、永続的なシェルとPython実行環境のどちらかを動かす
- 04 反映
結果を履歴へ
実行結果を作業記憶に反映し、タスク完了まで動作を繰り返す
Hugging Faceのモデルカードにある動作チャネル、出力形式、作業記憶の説明による。
訓練は5段階、タスク生成の仕組みも公開
訓練は、中間学習、GUI向けの学習、コードとターミナル向けの学習、その統合(Hybrid SFT)、オンラインの強化学習という5段階で進められます。タスク生成では、合成エンジンのMage-CUA-Forgeが293,806タスクを6,915の基礎スキルにわたって生成し、タスクごとの生成費用を82.6%削減したと報告されています。検証済みのハイブリッド軌跡は318,837件(GUI呼び出し68.19%、ターミナル呼び出し31.81%)です。強化学習はHybrid SFT後の55.84%から66.0%へ10.16ポイント成功率を上げ、タスクあたりのモデル呼び出しは21.57回から18.77回へ13.0%減、出力トークンは7,374から5,499へ25.4%減ったと研究チームは報告しています。
OSWorld-Verified
- Hybrid SFT後
- 55.84%
- Online RL後
- 66.0%
タスクあたりのモデル呼び出し
- Hybrid SFT後
- 21.57回
- Online RL後
- 18.77回
タスクあたりの出力トークン
- Hybrid SFT後
- 7,374
- Online RL後
- 5,499
Hugging Faceのモデルカードが報告する研究チームの実験値。OSWorld-Verifiedは361タスク(Google Driveを除外)・50ステップ上限・2回の独立実行の平均という条件。
性能の報告は、OSWorld-Verifiedの361タスク(Google Driveを除外)を50ステップ上限、画面解像度1920×1080の条件で評価したもので、独立した2回の全タスク実行の平均が65.33%と66.75%、あわせて66.0%(66.04%)です。項目別ではOperating Systemタスクで87.5%、複数アプリケーションの作業で62.7%に達したとされます。研究チームは66.0%を4B規模での最高水準と位置付けていますが、これは同チームの評価であり、第三者による再現ではありません。
安全面の説明も公開されています。READMEでは、bashで任意のコマンドを実行できる性質から、Dockerコンテナやスナップショット復元する仮想マシンのような隔離された使い捨てサンドボックス環境向けに設計・評価されたと説明し、ホストのファイルシステムやローカルネットワーク、個人の環境変数にアクセスさせないこと、不可逆な操作の前に人間の確認を要求すること、SSH鍵やクラウドトークンをエージェントの作業空間に持ち込まないこと、外部の信頼できないコンテンツを評価するときは送信先ネットワークを制限することを推奨しています。
既存のMage-VL(画像と動画の理解)やMage-Flow(画像生成)は別用途のモデルで、Mage-VL-CoworkはそのPC操作向けの派生です。公開資料には料金や商用提供の形態はなく、実運用での誤操作率や安全性の評価もありません。小型モデルがPC操作でどこまで達成できるかは、第三者による再現結果と、bash権限を安全に包む運用設計が広く共有されるかどうかにかかっています。
出典
- microsoft/Mage-VL-Cowork(Hugging Faceモデルカード、2026-10-30公開(APIのcreatedAt 2026-10-30T12:13:24Z)、2026-11-01全文確認)一次資料。Apache-2.0・4B(bfloat16で9.48GB、2シャード)・Mage-ViT+Qwen3-4B・コンテキスト32,768(アーキテクチャ上は最大262,144)・GUI操作11種とbashの2チャネル・出力3部構成・作業記憶(直近3枚のスクリーンショット等)・OSWorld-Verified 66.0%(66.04%、361タスク・Google Drive除外・50ステップ・2回平均65.33/66.75)・5段階訓練とMage-CUA-Forge(293,806タスク・6,915スキル・82.6%削減・318,837軌跡)・RL効果(+10.16ポイント、呼び出し−13.0%、出力トークン−25.4%)・訓練計算7.79 ZFLOPs(B200 32基・CPUサンドボックス1,120スロット)・trust_remote_codeの必要性
- Mage-VL-Cowork: 4B Hybrid GUI + Code Computer-Use Agent(Microsoft Mage プロジェクトページ、2026-11-01全文確認)一次資料。5段階カリキュラムの概要・66.0%(50ステップ上限)・RL効果の数値・4Bでの最高水準という研究チームの位置付け・既存Mage-VL・Mage-Flowとの関係
- mage_vl_cowork/README.md(GitHub microsoft/Mage、2026-11-01全文確認)一次資料。使い捨てサンドボックス(Docker・スナップショット復元VM)向けに設計・評価された旨・ホストアクセスの遮断・不可逆操作の人間確認・認証情報の非持ち込み・ネットワーク許可リストの推奨・OSWorld-Verified再現スイート(361タスク・50ステップ)の同梱
出典の確認日 2026.11.01