Modal、NVIDIA Vera CPUを評価　高負荷時のSandbox処理量が最大2倍と公表

測ったのは、一定時間に完了できるタスクの数です。Modalは多数のコンテナを同時に動かし、コンパイルやファイル検索、Git操作などのCPU処理を評価しました。LLMの推論やネットワークの待ち時間を含めた、エージェント全体の速度を測った結果ではありません。

評価には同社の「Agentless Agent Bench」を使っています。Terminal-Bench 2.1から、通信を使わない50種類の模範解答と検証処理を選びました。事前に起動したDockerコンテナで解答を実行し、検証に合格した場合だけ完了として数えます。

負荷のない環境で1件ずつ実行した評価では、Veraが常に大幅に速かったわけではないと同社は説明しています。一方、多くの処理がCPUやメモリーなどの資源を取り合う条件では差が広がりました。Modalは、Veraのメモリー帯域の広さが高密度な実行に役立つと説明しています。

最大約2倍はModalによる初期ベンチマークの公表値です。利用者の実際のタスクがすべて半分の時間で終わることや、利用料金が半額になることは示していません。独立した第三者による再測定も、今回確認した資料には含まれていません。

ModalはVera CPUへの対応を展開し、NVIDIAやクラウド事業者と協力して設備を拡充する方針です。従来のx86中心の環境からArmへ対応を広げるには、基盤やイメージのビルド機構の変更が必要になると説明しています。一般提供日や料金は今回の発表では示していません。