論文の題は「La-JEPA: Compact Robot Policies with Latent World Modeling」で、2026年11月5日にarXivのcs.ROに登録された(30ページ)。著者8名のうち5名がHuawei Technologies所属で、トロント大学とマギル大学の2名はHuaweiのインターン、残る1名はMila(ケベックAI研究所)所属である。La-JEPAの名前はLatent Action JEPAに由来する。研究は学術会議の査読をまだ経ておらず、本文は著者の検証結果として読むのが正確だ。
「embodied pretrainingを持たない政策のなかで、La-JEPAはクリーンとランダム化のRoboTwin 2.0シーン、および正しい指示文でのLIBERO-Plusで最高の成績を上げる。その一方で、最も強い競合政策よりはるかに少ないパラメータを使う。」
Among policies without embodied pretraining, La-JEPA achieves state-of-the-art performance in clean and randomized RoboTwin 2.0 scenes and on LIBERO-Plus with correct instructions, while using far fewer parameters than the strongest competing policies.
V-JEPA 2.1の特徴空間で行動モデルをゼロから学ぶ
論文が問題設定として挙げるのは、既存ロボット政策の二つの流儀だ。視覚言語行動モデル(VLA)は事前学習済みの視覚言語モデルを、world-action model(WAM)は動画生成モデルを転用する。どちらも制御には不要な生成向けの容量と推論コストを引き継ぐ。La-JEPAはこの前提を外し、凍結したV-JEPA 2.1 ViT-Lエンコーダの特徴空間で、構造も容量も制御向けに選べる政策Transformerをスクラッチで学習する。言語指示は凍結したFLAN-T5-largeエンコーダが、関節角度などの固有受容感覚とともに埋め込む。
学習の進め方はFast-WAMに倣う。行動に加えて、2フレーム間隔で16フレーム先までの未来特徴8グリッドを予測する補助目標を学習に混ぜる。推論時にはこの未来予測を省き、行動の生成に絞る。観測の符号化は、2フレームのクリップで動きの手がかりを持ちつつ16フレーム先をまとめて見るtube-motion方式を採用した。静的な符号化との設計比較では、RoboTwin 2.0のクリーン成功率が+3.4ポイント、ランダム化が+3.7ポイント変わる。モデルの大きさはS・B・Lの3種で、LIBERO構成の学習時更新パラメータは0.10B・0.34B・1.14B、展開時(凍結エンコーダ込み)は0.74B・0.98B・1.78Bである。
- 01 観測の入力
2フレームのクリップ
カメラ映像と関節角度、言語指示を入力する。
- 02 特徴の抽出
V-JEPA 2.1 ViT-L
事前学習済みで凍結したエンコーダが特徴へ変換する。言語は凍結したFLAN-T5-largeが処理する。
- 03 学習時の出力
行動+未来特徴
行動に加え、16フレーム先までの未来特徴8グリッドの予測を補助目標として同時に出す。
- 04 推論時の出力
行動のみ
未来予測を省き、拡散10ステップで行動を生成する。3ステップでも成功率は約1ポイント以内の差と報告している。
arXiv:2611.08156のSec.2〜3、Table 6とAppendix E.2に基づく。未来予測は学習時のみで、推論時の計算には含まれない。
RoboTwin 2.0ではランダム化シーンで33〜35%と他を大きく上げる
RoboTwin 2.0の結果は、対象デモ以上のロボットデータで事前学習していないclean学習の政策同士を比べたもので、成功率は各条件5,000エピソード、3つの学習シードの平均である(Table 2)。La-JEPAはクリーン85.5〜86.2%に対し、ランダム化シーンで33.9〜35.4%を記録し、cleanとrandomizedの平均は59.7〜60.8%になる。動画生成モデル転用のFast-WAM(展開12.4B)はクリーン77.8%に対しランダム化1.9%で平均39.9%、Faster-WAM(同11.4B)は68.6%と2.2%で平均35.4%だった。視覚言語モデル初期化のQwen-RobotManip-scratchは47.1%、StarVLAは34.4%である。ランダム化シーンの絶対値はLa-JEPAでも3割台にとどまり、著者ら自身が限界の節で、RoboTwinのスケーリングが単調でないことと、系統的なハイパーパラメータ探索をしていない点を認めている。
La-JEPA B
- 展開パラメータ
- 1.01B
- クリーン
- 86.2%
- ランダム化
- 35.4%
- 平均
- 60.8%
La-JEPA S
- 展開パラメータ
- 0.75B
- クリーン
- 85.5%
- ランダム化
- 33.9%
- 平均
- 59.7%
La-JEPA L
- 展開パラメータ
- 1.82B
- クリーン
- 86.0%
- ランダム化
- 32.1%
- 平均
- 59.0%
Fast-WAM
- 展開パラメータ
- 12.4B
- クリーン
- 77.8%
- ランダム化
- 1.9%
- 平均
- 39.9%
Faster-WAM
- 展開パラメータ
- 11.4B
- クリーン
- 68.6%
- ランダム化
- 2.2%
- 平均
- 35.4%
Qwen-RobotManip-scratch
- 展開パラメータ
- 4.7B
- クリーン
- 71.6%
- ランダム化
- 22.6%
- 平均
- 47.1%
StarVLA
- 展開パラメータ
- 7.8B
- クリーン
- 58.1%
- ランダム化
- 10.6%
- 平均
- 34.4%
arXiv:2611.08156のTable 2に基づく。embodied pretrainingなしのclean学習政策、著者報告。成功率は各条件5,000エピソード、La-JEPAは3シードの平均。展開パラメータには凍結エンコーダを含むRoboTwin構成の値。平均はクリーンとランダム化の等重量平均。
LIBERO-Plusは評価器の指示文不具合を修正して比較する
LIBERO-Plusの公式評価器には、ほとんどのバリアントで指示文に擾乱のパラメータが追記され、2つの擾乱を同時に適用してしまう不具合がある。論文はこの指示文を修正し、再評価した政策同士で比較した(Table 1)。修正済み指示文でのLIBERO-Plus成績はS 86.3%、B 87.3%、L 88.0%で、Lは展開7.1BのNowWAM(86.2%)を1.8ポイント上回り、展開パラメータは4分の1になる。なお、公式リリース版の指示文のままではL 84.1%に対しNowWAM 86.2%が上回る。修正版の数値があるのは著者らが再評価した政策だけで、Libero系の通常タスクではS 97.9%、B 98.0%、L 98.1%だった。
実機4タスクは平均17.50でembodied事前学習のπ0.5に並ぶ
実機実験は4つのFranka卓上タスク(cube placement、fruit picking、Push T、dish manipulation)を各20試行で評価した(Table 5)。La-JEPAは果物19、キューブ20、Push T 15、皿タスク(plate 20、utensil 18・17、位置16)で、4タスク平均17.50。embodied pretrainingを持つπ0.5の平均17.25に並び、事前学習なしの群では最高だった。Push Tでは全政策中最高の15だが、長手順の皿タスクはπ0.5の18が上回る。ベンチマークでのポリシー呼び出しレイテンシは25.16ミリ秒で、π0.5の71.89ミリ秒より短い。これは消費者向けGPU 1基で100回の呼び出しを計り、20回のウォームアップ後の中央値を取った測定値だ。
La-JEPA
- レイテンシ
- 25.16ms
- 果物
- 19
- キューブ
- 20
- Push T
- 15
- 皿(位置)
- 16
- 平均
- 17.50
π0.5
- レイテンシ
- 71.89ms
- 果物
- 20
- キューブ
- 20
- Push T
- 11
- 皿(位置)
- 18
- 平均
- 17.25
Faster-WAM
- レイテンシ
- 50.96ms
- 果物
- 18
- キューブ
- 20
- Push T
- 13
- 皿(位置)
- 14
- 平均
- 16.25
Fast-WAM
- レイテンシ
- 88.09ms
- 果物
- 19
- キューブ
- 19
- Push T
- 14
- 皿(位置)
- 12
- 平均
- 16.00
LingBot-VA
- レイテンシ
- 約4,760ms
- 果物
- 18
- キューブ
- 20
- Push T
- 2
- 皿(位置)
- 1
- 平均
- ―
arXiv:2611.08156のTable 5に基づく。成功率は20試行中の成功数、著者報告。レイテンシはベンチマーク環境のポリシー呼び出し中央値で、制御ループ全体の実時間ではない。皿列は器具配置の正しさを含む完全成功。LingBot-VAの皿は10試行で、平均は算出されていない。
速度と設計比較、そして残る課題
計算コストの節(Sec 5.4)では、コンパイル済みビルドのSとBがFast-WAM・Faster-WAMの2〜5倍速く、元カーネルのCUDAグラフ化したS(34.20ミリ秒)でも最適化Fast-WAM(88.09ミリ秒)の2.6倍と報告している(Table 15)。拡散ステップを10から3へ減らすと、S 11.04、B 13.40、L 26.30ミリ秒になり、成功率は約1ポイント以内に収まる。設計比較では、V-JEPA 2.1特徴を動画生成モデルWan2.2のVAE潜在と比べ、RoboTwinで+15.9〜16.0ポイント、LIBERO系で+2.0〜6.0ポイントの差を報告する(Table 6)。学習時の未来予測の有無もRoboTwinクリーン+7.0、ランダム化+3.7ポイント影響する。
残る課題は三つある。第一に、本論文は査読前のプレプリントで、数値は著者報告の域を出ない。第二に、論文フットノートが示すコード公開先のGitHubリポジトリ(mt-clemente/lajepa)は、2026年11月12日確認時点で空であり、コード・重み・再現手順は公開されていない。第三に、実機評価は4タスクに限られ、第三者による独立再現はまだない。著者らは今後の作業として、多様な環境での検証と、コード・重みの公開に触れている。
出典
- arXiv:2611.08156(PDF全文)2026-11-05公開、30ページ。要旨、著者所属、Table 1・2・5・6・15、LIBERO-Plus評価器の指示文修正(Sec 5.2)、限界の節。確認日 2026-11-12
- mt-clemente/lajepa(GitHub)論文フットノートに記載のコード公開先。2026-11-12確認時点で「This repository is empty」表示
出典の確認日 2026.11.12