NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Huaweiらが小型ロボット行動モデルLa-JEPAをarXivで公開 V-JEPA 2.1の特徴空間でスクラッチ学習し生成モデル転用なしで最高水準と報告(プレプリント)

Mateo Clémenteら8名(Huawei Technologies、トロント大学、マギル大学、Mila)は2026年11月5日、ロボット行動モデルLa-JEPAの論文をarXiv:2611.08156で公開した。事前学習済みのV-JEPA 2.1エンコーダを凍結して使う特徴空間で、行動を生成するTransformerをゼロから学習する。対象タスクのデモ以上のロボットデータで事前学習していない政策のなかで、RoboTwin 2.0とLIBERO-Plus(修正済み指示文)の最高成績を著者らは報告する。学習時に更新するパラメータは0.10〜1.14Bで、ポリシー呼び出しの中央値は最適化ビルドで17.78ミリ秒だ。数値はすべて著者報告で、査読前のプレプリントである。論文が示すコード公開先のGitHubリポジトリは、2026年11月12日確認時点でまだ空だった。

論文の題は「La-JEPA: Compact Robot Policies with Latent World Modeling」で、2026年11月5日にarXivのcs.ROに登録された(30ページ)。著者8名のうち5名がHuawei Technologies所属で、トロント大学とマギル大学の2名はHuaweiのインターン、残る1名はMila(ケベックAI研究所)所属である。La-JEPAの名前はLatent Action JEPAに由来する。研究は学術会議の査読をまだ経ておらず、本文は著者の検証結果として読むのが正確だ。

「embodied pretrainingを持たない政策のなかで、La-JEPAはクリーンとランダム化のRoboTwin 2.0シーン、および正しい指示文でのLIBERO-Plusで最高の成績を上げる。その一方で、最も強い競合政策よりはるかに少ないパラメータを使う。」

Among policies without embodied pretraining, La-JEPA achieves state-of-the-art performance in clean and randomized RoboTwin 2.0 scenes and on LIBERO-Plus with correct instructions, while using far fewer parameters than the strongest competing policies.

arXiv:2611.08156の要旨、確認日2026-11-12

V-JEPA 2.1の特徴空間で行動モデルをゼロから学ぶ

論文が問題設定として挙げるのは、既存ロボット政策の二つの流儀だ。視覚言語行動モデル(VLA)は事前学習済みの視覚言語モデルを、world-action model(WAM)は動画生成モデルを転用する。どちらも制御には不要な生成向けの容量と推論コストを引き継ぐ。La-JEPAはこの前提を外し、凍結したV-JEPA 2.1 ViT-Lエンコーダの特徴空間で、構造も容量も制御向けに選べる政策Transformerをスクラッチで学習する。言語指示は凍結したFLAN-T5-largeエンコーダが、関節角度などの固有受容感覚とともに埋め込む。

学習の進め方はFast-WAMに倣う。行動に加えて、2フレーム間隔で16フレーム先までの未来特徴8グリッドを予測する補助目標を学習に混ぜる。推論時にはこの未来予測を省き、行動の生成に絞る。観測の符号化は、2フレームのクリップで動きの手がかりを持ちつつ16フレーム先をまとめて見るtube-motion方式を採用した。静的な符号化との設計比較では、RoboTwin 2.0のクリーン成功率が+3.4ポイント、ランダム化が+3.7ポイント変わる。モデルの大きさはS・B・Lの3種で、LIBERO構成の学習時更新パラメータは0.10B・0.34B・1.14B、展開時(凍結エンコーダ込み)は0.74B・0.98B・1.78Bである。

図解La-JEPAの学習と推論の流れ
  1. 01 観測の入力

    2フレームのクリップ

    カメラ映像と関節角度、言語指示を入力する。

  2. 02 特徴の抽出

    V-JEPA 2.1 ViT-L

    事前学習済みで凍結したエンコーダが特徴へ変換する。言語は凍結したFLAN-T5-largeが処理する。

  3. 03 学習時の出力

    行動+未来特徴

    行動に加え、16フレーム先までの未来特徴8グリッドの予測を補助目標として同時に出す。

  4. 04 推論時の出力

    行動のみ

    未来予測を省き、拡散10ステップで行動を生成する。3ステップでも成功率は約1ポイント以内の差と報告している。

arXiv:2611.08156のSec.2〜3、Table 6とAppendix E.2に基づく。未来予測は学習時のみで、推論時の計算には含まれない。

RoboTwin 2.0ではランダム化シーンで33〜35%と他を大きく上げる

RoboTwin 2.0の結果は、対象デモ以上のロボットデータで事前学習していないclean学習の政策同士を比べたもので、成功率は各条件5,000エピソード、3つの学習シードの平均である(Table 2)。La-JEPAはクリーン85.5〜86.2%に対し、ランダム化シーンで33.9〜35.4%を記録し、cleanとrandomizedの平均は59.7〜60.8%になる。動画生成モデル転用のFast-WAM(展開12.4B)はクリーン77.8%に対しランダム化1.9%で平均39.9%、Faster-WAM(同11.4B)は68.6%と2.2%で平均35.4%だった。視覚言語モデル初期化のQwen-RobotManip-scratchは47.1%、StarVLAは34.4%である。ランダム化シーンの絶対値はLa-JEPAでも3割台にとどまり、著者ら自身が限界の節で、RoboTwinのスケーリングが単調でないことと、系統的なハイパーパラメータ探索をしていない点を認めている。

図解RoboTwin 2.0の成功率
  • La-JEPA B

    展開パラメータ
    1.01B
    クリーン
    86.2%
    ランダム化
    35.4%
    平均
    60.8%
  • La-JEPA S

    展開パラメータ
    0.75B
    クリーン
    85.5%
    ランダム化
    33.9%
    平均
    59.7%
  • La-JEPA L

    展開パラメータ
    1.82B
    クリーン
    86.0%
    ランダム化
    32.1%
    平均
    59.0%
  • Fast-WAM

    展開パラメータ
    12.4B
    クリーン
    77.8%
    ランダム化
    1.9%
    平均
    39.9%
  • Faster-WAM

    展開パラメータ
    11.4B
    クリーン
    68.6%
    ランダム化
    2.2%
    平均
    35.4%
  • Qwen-RobotManip-scratch

    展開パラメータ
    4.7B
    クリーン
    71.6%
    ランダム化
    22.6%
    平均
    47.1%
  • StarVLA

    展開パラメータ
    7.8B
    クリーン
    58.1%
    ランダム化
    10.6%
    平均
    34.4%

arXiv:2611.08156のTable 2に基づく。embodied pretrainingなしのclean学習政策、著者報告。成功率は各条件5,000エピソード、La-JEPAは3シードの平均。展開パラメータには凍結エンコーダを含むRoboTwin構成の値。平均はクリーンとランダム化の等重量平均。

LIBERO-Plusは評価器の指示文不具合を修正して比較する

LIBERO-Plusの公式評価器には、ほとんどのバリアントで指示文に擾乱のパラメータが追記され、2つの擾乱を同時に適用してしまう不具合がある。論文はこの指示文を修正し、再評価した政策同士で比較した(Table 1)。修正済み指示文でのLIBERO-Plus成績はS 86.3%、B 87.3%、L 88.0%で、Lは展開7.1BのNowWAM(86.2%)を1.8ポイント上回り、展開パラメータは4分の1になる。なお、公式リリース版の指示文のままではL 84.1%に対しNowWAM 86.2%が上回る。修正版の数値があるのは著者らが再評価した政策だけで、Libero系の通常タスクではS 97.9%、B 98.0%、L 98.1%だった。

実機4タスクは平均17.50でembodied事前学習のπ0.5に並ぶ

実機実験は4つのFranka卓上タスク(cube placement、fruit picking、Push T、dish manipulation)を各20試行で評価した(Table 5)。La-JEPAは果物19、キューブ20、Push T 15、皿タスク(plate 20、utensil 18・17、位置16)で、4タスク平均17.50。embodied pretrainingを持つπ0.5の平均17.25に並び、事前学習なしの群では最高だった。Push Tでは全政策中最高の15だが、長手順の皿タスクはπ0.5の18が上回る。ベンチマークでのポリシー呼び出しレイテンシは25.16ミリ秒で、π0.5の71.89ミリ秒より短い。これは消費者向けGPU 1基で100回の呼び出しを計り、20回のウォームアップ後の中央値を取った測定値だ。

図解実機4タスクの成功率とポリシー呼び出しレイテンシ
  • La-JEPA

    レイテンシ
    25.16ms
    果物
    19
    キューブ
    20
    Push T
    15
    皿(位置)
    16
    平均
    17.50
  • π0.5

    レイテンシ
    71.89ms
    果物
    20
    キューブ
    20
    Push T
    11
    皿(位置)
    18
    平均
    17.25
  • Faster-WAM

    レイテンシ
    50.96ms
    果物
    18
    キューブ
    20
    Push T
    13
    皿(位置)
    14
    平均
    16.25
  • Fast-WAM

    レイテンシ
    88.09ms
    果物
    19
    キューブ
    19
    Push T
    14
    皿(位置)
    12
    平均
    16.00
  • LingBot-VA

    レイテンシ
    約4,760ms
    果物
    18
    キューブ
    20
    Push T
    2
    皿(位置)
    1
    平均
    ―

arXiv:2611.08156のTable 5に基づく。成功率は20試行中の成功数、著者報告。レイテンシはベンチマーク環境のポリシー呼び出し中央値で、制御ループ全体の実時間ではない。皿列は器具配置の正しさを含む完全成功。LingBot-VAの皿は10試行で、平均は算出されていない。

速度と設計比較、そして残る課題

計算コストの節(Sec 5.4)では、コンパイル済みビルドのSとBがFast-WAM・Faster-WAMの2〜5倍速く、元カーネルのCUDAグラフ化したS(34.20ミリ秒)でも最適化Fast-WAM(88.09ミリ秒)の2.6倍と報告している(Table 15)。拡散ステップを10から3へ減らすと、S 11.04、B 13.40、L 26.30ミリ秒になり、成功率は約1ポイント以内に収まる。設計比較では、V-JEPA 2.1特徴を動画生成モデルWan2.2のVAE潜在と比べ、RoboTwinで+15.9〜16.0ポイント、LIBERO系で+2.0〜6.0ポイントの差を報告する(Table 6)。学習時の未来予測の有無もRoboTwinクリーン+7.0、ランダム化+3.7ポイント影響する。

残る課題は三つある。第一に、本論文は査読前のプレプリントで、数値は著者報告の域を出ない。第二に、論文フットノートが示すコード公開先のGitHubリポジトリ(mt-clemente/lajepa)は、2026年11月12日確認時点で空であり、コード・重み・再現手順は公開されていない。第三に、実機評価は4タスクに限られ、第三者による独立再現はまだない。著者らは今後の作業として、多様な環境での検証と、コード・重みの公開に触れている。

出典

  1. arXiv:2611.08156(PDF全文)2026-11-05公開、30ページ。要旨、著者所属、Table 1・2・5・6・15、LIBERO-Plus評価器の指示文修正(Sec 5.2)、限界の節。確認日 2026-11-12
  2. mt-clemente/lajepa(GitHub)論文フットノートに記載のコード公開先。2026-11-12確認時点で「This repository is empty」表示

出典の確認日 2026.11.12

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む