NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

パナソニックHD、触覚20Hzで動きを補正する両手ロボットAI「T-Rex」を共同開発 12作業の成功率65%

パナソニックHDとパナソニックR&Dカンパニーオブアメリカは2026年11月5日、カリフォルニア大学バークレー校、NVIDIA、スタンフォード大学などの研究者と共同で、指先の触覚に応じて動きを補正するロボット操作AI「Tactile-Reactive Dexterous Manipulation(T-Rex)」を開発したと発表した。視覚と言語に基づく動作生成を約5Hz、触覚に基づく動作修正を約20Hzで行い、接触を伴う12種類の実環境作業で平均成功率65%を報告している。コード、学習済みチェックポイント、収集データの一部は公開された。

パナソニックHDの発表によると、T-Rexは画像と言語からロボットの動きを生成するVLA(Vision-Language-Action)モデルに指先の触覚を統合したもので、接触状態の変化に応じて動きをリアルタイムに補正する。成果は2026年11月9日から12日に米オースティンで開かれるロボット学習の国際会議CoRL 2026で発表される。基になる論文は2026年6月15日にarXivで公開済みであり、今回の発表は同じ研究の公式告知である。

従来のVLAモデルはカメラ映像に頼る部分が大きく、触覚を扱う場合でも静的な情報として処理してきた。視覚と言語の処理は更新頻度が低く、ミリ秒単位で変わる接触の力に追いつけない。この隔たりが、カードを引き出す、鍵を差し込むといった細かい力制御の作業で課題になっていた。

約5Hzの動作生成と約20Hzの触覚補正

T-Rexは一つのTransformerの中で役割の異なる3つのエキスパートを動かすMixture-of-Transformers構成を採る。潜在表現を扱うlatent expert、動きの大枠を生成するaction expert、触覚で補正するtactile expertの3つである。action expertが約5Hzで動きの大枠を決める一方、tactile expertが約20Hzで接触状態を読み、動きに細かい修正を加える。バックボーンはQwen3-VL-2Bで、GitHubのREADMEに記載がある。

修正はカスケード化したflow matchingで行う。生成の過程を途中で切り分け、前半をaction expertが処理した時点で視覚言語の計算結果を固定し、後半をtactile expertが触覚だけを見て仕上げる。遅い処理を毎回やり直さずに済むため、一つの動きの区間の中でも触覚への反応が成立する。触覚の入力は、16フレーム分の力の履歴を離散トークンに圧縮するtemporal tactile VQ-VAEで符号化する。

図解12作業の成功率
  • T-Rex

    平均成功率
    65%
    評価の条件
    12作業×16試行の著者評価。全作業で最高
  • EgoScale(最強の比較手法)

    平均成功率
    35%
    評価の条件
    同じ評価。一人称映像での事前学習が有利に働く
  • T-Rex(触覚なし)

    平均成功率
    42%
    評価の条件
    触覚と高速な修正を除いた削除実験
  • π0.5+触覚の単純な追加

    平均成功率
    6%
    評価の条件
    触覚を後付けすると素のπ0.5(17%)より下がる

プロジェクトページの結果節とパナソニックHD発表に基づく。65%対35%は12作業×16試行の著者評価で、作業の進み具合に応じた部分評価を含む。触覚なしとπ0.5系の数値はプロジェクトページの削除実験の値(削除実験は代表6作業の平均と同ページに記載)。「世界最高性能」はパナソニックHD調べ(2026年11月5日時点)の表現。

差は30ポイントである。パナソニックHDの発表は「既存手法を30ポイント上回る」と述べ、論文とプロジェクトページも同じ数値を示す。65%と35%の差であって、成功率が30%改善されたわけではない。比較対象EgoScaleも一人称映像での事前学習を使う最強の手法であり、触覚を後付けしたπ0.5は素のπ0.5より成功率が下がる。触覚の入れ方自体が結果を左右する。

100時間の触覚データと3段階の学習

学習データは両腕ロボットDexmate Vega-1に22自由度のハンドSharpa Waveを付け、指先10点の触覚センサーで収集した。日用品207種と基本動作22種の組み合わせごとに実演を取り、軌跡7,700件超、計100時間である。各実演には頭部と手首のカメラ映像、ロボットの状態、10指の力と変形、言語指示が同期して記録されている。

公開されているのはこのうち約50時間、5,400軌跡超の一部である。Hugging FaceにLeRobot v3.0形式で公開されており、GitHubのREADMEは「100時間のデータセットのうち約50時間を公開」と説明する。全量の公開を示す記述は確認できていない。

図解T-Rexの3段階学習
  1. 01 事前学習

    視覚と言語の基礎

    22,889時間の一人称視点映像で学ぶ。触覚は扱わない。

  2. 02 中間学習

    触覚に合わせる

    100時間の触覚付き操作データで、tactile expertを起点から学習する。

  3. 03 事後学習

    作業ごとに仕上げる

    各作業約100件の実演で調整する。

プロジェクトページのTraining recipeとパナソニックHD発表に基づく。事前・中間学習のコーパスは同梱されず、リポジトリは中間学習済みチェックポイントから事後学習を始める構成。

公開範囲と今後の適用先

リポジトリZhuoyangLiu2005/T-RexはMITライセンスで公開されている。mainブランチは事後学習と推論のコードで、事前・中間学習のコードはfull-pipelineブランチにある。事前学習済みと中間学習済みのチェックポイント2種をHugging Faceで公開し、中間学習済みのものから利用者が自分の作業で仕上げる使い方を案内している。収集した機体や触覚センサーが異なる環境での動作は今回の評価には含まれない。

パナソニックHDは適用先として、製造現場の部品の挿入やねじ締め、物流現場の柔らかい物や壊れ物の取り扱いを挙げる。評価は接触を伴う12作業に限られ、商用環境での信頼性や安全性の検証は示されていない。公開データと重みを使った第三者による再現も、今回確認した範囲では公表されていない。

出典

  1. パナソニックHD「パナソニックHD、指先の触覚に即応して器用な両手作業を行うロボット操作AIを共同開発」2026-11-05一次資料。共同研究機関、約5Hzと約20Hz、12作業65%と30ポイント差、触覚なし42%、100時間データ、3段階学習、CoRL 2026発表、適用先。2026-11-10本文確認。
  2. T-Rex: Tactile-Reactive Dexterous Manipulation(プロジェクトページ)2026-11-10確認一次資料。Mixture-of-Transformers、temporal tactile VQ-VAE、cascaded flow matching、207種×22基本動作のデータ構成、12作業別の成功率、削除実験(代表6作業平均)。2026-11-10本文確認。
  3. T-Rex: Tactile-Reactive Dexterous Manipulation(arXiv:2606.17055)2026-06-15公開一次資料。論文の公開日と要旨(100時間データ、variable-rate MoT、12作業で最強比較を30ポイント超)。2026-11-10本文確認。
  4. ZhuoyangLiu2005/T-Rex(GitHub、MITライセンス)2026-11-10確認一次資料。Qwen3-VL-2Bバックボーン、公開データ約50時間・5,400軌跡超(LeRobot v3.0)、mainブランチとfull-pipelineブランチの範囲、チェックポイント2種。2026-11-10本文確認。

出典の確認日 2026.11.10

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む