NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

XPENGと北京大学らが物理AI向け視覚基盤モデルGroundingPIを公開 4Bで34ベンチマーク平均73.68、デモ50%の学習で75%条件の比較モデルを上回る(著者報告)

XPENG(広州)と北京大学・香港大学などの研究者は2026年11月4日、ロボットや自動運転の知覚を担う視覚基盤モデルGroundingPIを公開した。座標、バウンディングボックス、ポイントング、OCR、レイアウトといった視覚プリミティブを中心に学習した約4Bのモデルで、34の知覚ベンチマーク・44の比較対象の平均は73.68%と、同チームの評価でGPT-6 Astraの71.54%を上回った。RoboCasa-GR1のシミュレーションではデモデータ50%の学習が比較モデルの75%条件を上回り、RoboTwin 2.0の4つの分布外設定ですべて首位だった。コードと重みは公開済みで、数値は著者の報告、独立した再現はまだない。

XPENG(NYSE: XPEV、HKEX: 9868)は2026年11月4日、XPENG・北京大学・香港大学などの研究機関に所属する研究者による視覚知覚基盤モデルGroundingPIの公開を発表した(公式発表の表記はGuangzhou, China, November 4, 2026)。論文「GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives」はarXiv:2609.39601で、今回確認したのは2026年10月16日付のv2(初版は2026年9月)だ。著者はQize Yu(プロジェクトリード)ら28名で、所属はXPeng Inc.、北京大学、香港大学、UC Berkeley、Princeton大学、National University of Singapore、清華大学、HKUST(広州)の8機関にわたる。実装はGitHubのgroundingpi/GroundingPI(Apache-2.0、リポジトリ作成は2026年9月30日、433スター、GitHub API実測)、重みはHugging FaceのGroundingPI/GroundingPI(作成は2026年9月30日、safetensors合計4,843,664,384パラメータ、ダウンロード1,293、API実測)で、ライセンス表記はApache-2.0に上流のKimi K3条件を加えた形だ。

「約40億パラメータのGroundingPIは、11の知覚能力をカバーする34の知覚ベンチマークで評価した44の比較モデルの中で最も高い合計スコアを達成した。」

With approximately 4 billion parameters, GroundingPI achieved the highest aggregate score among 44 baseline models evaluated across 34 perception benchmarks covering 11 perceptual capabilities.

XPENG公式発表、2026-11-04

視覚プリミティブを中心に学習する4B

ロボットの操作には、言語の理解だけでなく、対象の正確な位置、部分構造、空間関係の認識が必要だ。論文は、汎用の視覚言語モデル(VLM)を知覚基盤にそのまま使う設計では、こうした位置特定の能力が言語推論に埋もれると指摘し、知覚に特化した基盤モデルを作る。構成は、Kimi K3で使われているMoonViT-V2の視覚エンコーダとQwen3-4Bの言語モデルを組み合わせた約4Bだ。学習は公開データセットと専用のデータエンジンから作ったデータで行い、11の知覚能力(検出、指示参照、ポイントング、OCR、GUI、レイアウトなど)を視覚プリミティブとして扱う。ロボットの行動ラベルを知覚モデルの学習条件にしない点が、行動と一緒に知覚を学ぶVLA(視覚言語行動モデル)との違いで、逆に視覚グラウンディング自体は既存技術の組み合わせだ。

図解GroundingPIの構成と下流タスクへの接続(論文Figure 1・Sec.3、公式発表に基づく)
  1. 01 視覚エンコーダ

    MoonViT-V2

    Kimi K3と同じ系統の視覚エンコーダで画像を読む。

  2. 02 言語モデル

    Qwen3-4B

    指示テキストと組み合わせて知覚出力を生成する約4Bのモデル。

  3. 03 知覚出力

    11カテゴリ

    ボックス、点、OCR、レイアウトなどの視覚プリミティブを出す。行動ラベルは学習に不要。

  4. 04 操作学習へ

    RoboCasa-GR1/RoboTwin 2.0

    知覚基盤をビジュアルバックボーンとして行動学習に接続。デモ50%の学習で比較モデルの75%条件を上回る(シミュレーション)。

  5. 05 運転へ

    nuScenes

    ビジュアルバックボーンとしてオープンループ軌道予測のL2誤差0.296mを報告。

論文Sec.2〜3とFigure 1、XPENG公式発表に基づく。下流の数値は著者報告のシミュレーション・オフライン評価。

知覚ベンチマーク34・44手法で平均73.68

論文は34のグラウンディングベンチマークを11の知覚能力に分けて、44の比較対象(検出器、VLM、知覚特化モデル)と比べた。平均は73.68%で、より大きいGPT-6 Astraの71.54%を上回る。個別の領域では、密集した点群のDense Pointで74.53%と、SenseNova-Visionの68.13%を上回る。XPENGの公式発表はこの比較を「研究チームの評価(in the research team's evaluation)」と明記しており、GPT-6 Astraとの比較は知覚ベンチマークの範囲に限られる。一般的な知能の優劣を示す数値ではない。

下流ではデモ50%で75%条件を上回る

知覚基盤の価値の検証は、ビジュアルバックボーンとして行動学習に接続する下流タスクで行われた。ヒューマノイドの多指操作のRoboCasa-GR1では、GroundingPIを基盤にデモデータ50%で学習したポリシーが、比較モデルを75%のデモで学習した条件を上回ったと報告している。テーブル上の両腕操作のRoboTwin 2.0では、4つの分布外(OOD)設定すべてで首位で、最も強い比較バックボーンに対して最大24.8%の相対改善だった。内訳は、クリーンデータで学習してランダム化環境で評価するClean2Random OODが17.60%(2位のRex-Omniは14.10%)だ。一方で、分布内のRoboCasa-GR1 Fullは37.75%と、RynnBrainの39.00%に届かず、6つの評価のうち首位は5つという結果を論文自身が載せている。

図解下流タスクの主な結果(論文Sec.3.3・Figure 6、著者報告)
  • RoboTwin 2.0 OOD

    GroundingPI
    17.60%
    比較対象
    Rex-Omni 14.10%
    備考
    4OODすべて首位、最大+24.8%相対
  • RoboTwin 2.0 Full

    GroundingPI
    66.20%
    比較対象
    ―
    備考
    6評価中5つで首位
  • RoboCasa-GR1 Full

    GroundingPI
    37.75%
    比較対象
    RynnBrain 39.00%
    備考
    分布内では2位
  • nuScenes L2誤差

    GroundingPI
    0.296m
    比較対象
    Qwen3-VL-4B 0.301m
    備考
    オープンループ軌道予測の平均

論文Sec.3.3とFigure 6の著者報告。RoboCasa-GR1・RoboTwin 2.0はシミュレーション、nuScenesはオフラインのオープンループ評価で、実機ロボットでの成功とは異なる。

自動運転側は、nuScenesをビジュアルバックボーンとして使い、オープンループ軌道予測の平均L2誤差が0.296mと、Qwen3-VL-4Bの0.301mをわずかに上回る。論文はさらに、知覚学習に使ったデータの規模と構成の分析、視覚プリミティブごとの転移の分析を付録に載せている。

公式発表と論文は、下流の結果をシミュレーションでの改善として記述しており、実機での検証は含まれない。数値はすべて著者の報告で、独立した第三者による再現は今回の確認時点で見つからない。コードはApache-2.0だが、モデル重みのライセンスはApache-2.0に上流のKimi K3(MoonAiの視覚エンコーダ)の条件を加えた表記で、商用利用時にはその条件の確認が必要だ。位置特定を重視した知覚基盤を、行動ラベルなしで事前学習できるようにした方向性は、ロボットのデータ効率の改善につながる可能性があるが、未知の実環境で再現されるかは今後の検証課題として論文も残している。

出典

  1. XPENG Researchers and Academic Partners Introduce GroundingPI, an Open-Source Visual Perception Model for Physical AI(XPENG公式発表)2026-11-04、Guangzhou発。4B・34ベンチマーク平均73.68対GPT-6 Astra 71.54を「研究チームの評価」と明記、シミュレーション結果とコード・重みの公開を確認。確認日 2026-11-12
  2. GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives(arXiv:2609.39601、PDF全文・v2)v2 2026-10-16。著者28名と所属8機関、要旨の44ベースライン/34ベンチマーク/11知覚能力、73.68%対71.54%、RoboTwin 2.0の4OOD・最大24.8%相対、RoboCasa-GR1の50%対75%、nuScenes 0.296m、RoboCasa-GR1 Full 37.75%対RynnBrain 39.00%。確認日 2026-11-12
  3. groundingpi/GroundingPI(GitHubリポジトリ)Apache-2.0。リポジトリ作成 2026-09-30、433スター(GitHub API実測)。確認日 2026-11-12
  4. GroundingPI/GroundingPI(Hugging Face)重み。作成 2026-09-30、safetensors合計4,843,664,384パラメータ、ダウンロード1,293、ライセンス表記はapache-2.0-with-upstream-kimi-k3(Hugging Face API実測)。確認日 2026-11-12

出典の確認日 2026.11.12

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. XPENG、ロボタクシー「YOYO」の広州市全域L4示範運行資格を取得――技術検証から運行と商用モデルの検証へ、利用は当面招待制

    XPENG(小鵬汽車)は2026年10月26日、広州市の智能網聯汽車(ICV)示範運行資格を取得したと発表しました。市全域を対象にL4ロボタクシーの示範運行ができ、注文対応・車両配車・乗客の乗降・異常対応を含む運行と商用モデルの検証に進みます。体験の開放は当面、招待コードによる段階的な方式を続け、一般向け運賃や車両数、収益性の実証、完全無人運行の達成を示すものではありません。

    記事を読む
  2. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  3. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む