XPENG(NYSE: XPEV、HKEX: 9868)は2026年11月4日、XPENG・北京大学・香港大学などの研究機関に所属する研究者による視覚知覚基盤モデルGroundingPIの公開を発表した(公式発表の表記はGuangzhou, China, November 4, 2026)。論文「GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives」はarXiv:2609.39601で、今回確認したのは2026年10月16日付のv2(初版は2026年9月)だ。著者はQize Yu(プロジェクトリード)ら28名で、所属はXPeng Inc.、北京大学、香港大学、UC Berkeley、Princeton大学、National University of Singapore、清華大学、HKUST(広州)の8機関にわたる。実装はGitHubのgroundingpi/GroundingPI(Apache-2.0、リポジトリ作成は2026年9月30日、433スター、GitHub API実測)、重みはHugging FaceのGroundingPI/GroundingPI(作成は2026年9月30日、safetensors合計4,843,664,384パラメータ、ダウンロード1,293、API実測)で、ライセンス表記はApache-2.0に上流のKimi K3条件を加えた形だ。
「約40億パラメータのGroundingPIは、11の知覚能力をカバーする34の知覚ベンチマークで評価した44の比較モデルの中で最も高い合計スコアを達成した。」
With approximately 4 billion parameters, GroundingPI achieved the highest aggregate score among 44 baseline models evaluated across 34 perception benchmarks covering 11 perceptual capabilities.
視覚プリミティブを中心に学習する4B
ロボットの操作には、言語の理解だけでなく、対象の正確な位置、部分構造、空間関係の認識が必要だ。論文は、汎用の視覚言語モデル(VLM)を知覚基盤にそのまま使う設計では、こうした位置特定の能力が言語推論に埋もれると指摘し、知覚に特化した基盤モデルを作る。構成は、Kimi K3で使われているMoonViT-V2の視覚エンコーダとQwen3-4Bの言語モデルを組み合わせた約4Bだ。学習は公開データセットと専用のデータエンジンから作ったデータで行い、11の知覚能力(検出、指示参照、ポイントング、OCR、GUI、レイアウトなど)を視覚プリミティブとして扱う。ロボットの行動ラベルを知覚モデルの学習条件にしない点が、行動と一緒に知覚を学ぶVLA(視覚言語行動モデル)との違いで、逆に視覚グラウンディング自体は既存技術の組み合わせだ。
- 01 視覚エンコーダ
MoonViT-V2
Kimi K3と同じ系統の視覚エンコーダで画像を読む。
- 02 言語モデル
Qwen3-4B
指示テキストと組み合わせて知覚出力を生成する約4Bのモデル。
- 03 知覚出力
11カテゴリ
ボックス、点、OCR、レイアウトなどの視覚プリミティブを出す。行動ラベルは学習に不要。
- 04 操作学習へ
RoboCasa-GR1/RoboTwin 2.0
知覚基盤をビジュアルバックボーンとして行動学習に接続。デモ50%の学習で比較モデルの75%条件を上回る(シミュレーション)。
- 05 運転へ
nuScenes
ビジュアルバックボーンとしてオープンループ軌道予測のL2誤差0.296mを報告。
論文Sec.2〜3とFigure 1、XPENG公式発表に基づく。下流の数値は著者報告のシミュレーション・オフライン評価。
知覚ベンチマーク34・44手法で平均73.68
論文は34のグラウンディングベンチマークを11の知覚能力に分けて、44の比較対象(検出器、VLM、知覚特化モデル)と比べた。平均は73.68%で、より大きいGPT-6 Astraの71.54%を上回る。個別の領域では、密集した点群のDense Pointで74.53%と、SenseNova-Visionの68.13%を上回る。XPENGの公式発表はこの比較を「研究チームの評価(in the research team's evaluation)」と明記しており、GPT-6 Astraとの比較は知覚ベンチマークの範囲に限られる。一般的な知能の優劣を示す数値ではない。
下流ではデモ50%で75%条件を上回る
知覚基盤の価値の検証は、ビジュアルバックボーンとして行動学習に接続する下流タスクで行われた。ヒューマノイドの多指操作のRoboCasa-GR1では、GroundingPIを基盤にデモデータ50%で学習したポリシーが、比較モデルを75%のデモで学習した条件を上回ったと報告している。テーブル上の両腕操作のRoboTwin 2.0では、4つの分布外(OOD)設定すべてで首位で、最も強い比較バックボーンに対して最大24.8%の相対改善だった。内訳は、クリーンデータで学習してランダム化環境で評価するClean2Random OODが17.60%(2位のRex-Omniは14.10%)だ。一方で、分布内のRoboCasa-GR1 Fullは37.75%と、RynnBrainの39.00%に届かず、6つの評価のうち首位は5つという結果を論文自身が載せている。
RoboTwin 2.0 OOD
- GroundingPI
- 17.60%
- 比較対象
- Rex-Omni 14.10%
- 備考
- 4OODすべて首位、最大+24.8%相対
RoboTwin 2.0 Full
- GroundingPI
- 66.20%
- 比較対象
- ―
- 備考
- 6評価中5つで首位
RoboCasa-GR1 Full
- GroundingPI
- 37.75%
- 比較対象
- RynnBrain 39.00%
- 備考
- 分布内では2位
nuScenes L2誤差
- GroundingPI
- 0.296m
- 比較対象
- Qwen3-VL-4B 0.301m
- 備考
- オープンループ軌道予測の平均
論文Sec.3.3とFigure 6の著者報告。RoboCasa-GR1・RoboTwin 2.0はシミュレーション、nuScenesはオフラインのオープンループ評価で、実機ロボットでの成功とは異なる。
自動運転側は、nuScenesをビジュアルバックボーンとして使い、オープンループ軌道予測の平均L2誤差が0.296mと、Qwen3-VL-4Bの0.301mをわずかに上回る。論文はさらに、知覚学習に使ったデータの規模と構成の分析、視覚プリミティブごとの転移の分析を付録に載せている。
公式発表と論文は、下流の結果をシミュレーションでの改善として記述しており、実機での検証は含まれない。数値はすべて著者の報告で、独立した第三者による再現は今回の確認時点で見つからない。コードはApache-2.0だが、モデル重みのライセンスはApache-2.0に上流のKimi K3(MoonAiの視覚エンコーダ)の条件を加えた表記で、商用利用時にはその条件の確認が必要だ。位置特定を重視した知覚基盤を、行動ラベルなしで事前学習できるようにした方向性は、ロボットのデータ効率の改善につながる可能性があるが、未知の実環境で再現されるかは今後の検証課題として論文も残している。
出典
- XPENG Researchers and Academic Partners Introduce GroundingPI, an Open-Source Visual Perception Model for Physical AI(XPENG公式発表)2026-11-04、Guangzhou発。4B・34ベンチマーク平均73.68対GPT-6 Astra 71.54を「研究チームの評価」と明記、シミュレーション結果とコード・重みの公開を確認。確認日 2026-11-12
- GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives(arXiv:2609.39601、PDF全文・v2)v2 2026-10-16。著者28名と所属8機関、要旨の44ベースライン/34ベンチマーク/11知覚能力、73.68%対71.54%、RoboTwin 2.0の4OOD・最大24.8%相対、RoboCasa-GR1の50%対75%、nuScenes 0.296m、RoboCasa-GR1 Full 37.75%対RynnBrain 39.00%。確認日 2026-11-12
- groundingpi/GroundingPI(GitHubリポジトリ)Apache-2.0。リポジトリ作成 2026-09-30、433スター(GitHub API実測)。確認日 2026-11-12
- GroundingPI/GroundingPI(Hugging Face)重み。作成 2026-09-30、safetensors合計4,843,664,384パラメータ、ダウンロード1,293、ライセンス表記はapache-2.0-with-upstream-kimi-k3(Hugging Face API実測)。確認日 2026-11-12
出典の確認日 2026.11.12