パナソニックHDの発表によると、T-Rexは画像と言語からロボットの動きを生成するVLA(Vision-Language-Action)モデルに指先の触覚を統合したもので、接触状態の変化に応じて動きをリアルタイムに補正する。成果は2026年11月9日から12日に米オースティンで開かれるロボット学習の国際会議CoRL 2026で発表される。基になる論文は2026年6月15日にarXivで公開済みであり、今回の発表は同じ研究の公式告知である。
従来のVLAモデルはカメラ映像に頼る部分が大きく、触覚を扱う場合でも静的な情報として処理してきた。視覚と言語の処理は更新頻度が低く、ミリ秒単位で変わる接触の力に追いつけない。この隔たりが、カードを引き出す、鍵を差し込むといった細かい力制御の作業で課題になっていた。
約5Hzの動作生成と約20Hzの触覚補正
T-Rexは一つのTransformerの中で役割の異なる3つのエキスパートを動かすMixture-of-Transformers構成を採る。潜在表現を扱うlatent expert、動きの大枠を生成するaction expert、触覚で補正するtactile expertの3つである。action expertが約5Hzで動きの大枠を決める一方、tactile expertが約20Hzで接触状態を読み、動きに細かい修正を加える。バックボーンはQwen3-VL-2Bで、GitHubのREADMEに記載がある。
修正はカスケード化したflow matchingで行う。生成の過程を途中で切り分け、前半をaction expertが処理した時点で視覚言語の計算結果を固定し、後半をtactile expertが触覚だけを見て仕上げる。遅い処理を毎回やり直さずに済むため、一つの動きの区間の中でも触覚への反応が成立する。触覚の入力は、16フレーム分の力の履歴を離散トークンに圧縮するtemporal tactile VQ-VAEで符号化する。
T-Rex
- 平均成功率
- 65%
- 評価の条件
- 12作業×16試行の著者評価。全作業で最高
EgoScale(最強の比較手法)
- 平均成功率
- 35%
- 評価の条件
- 同じ評価。一人称映像での事前学習が有利に働く
T-Rex(触覚なし)
- 平均成功率
- 42%
- 評価の条件
- 触覚と高速な修正を除いた削除実験
π0.5+触覚の単純な追加
- 平均成功率
- 6%
- 評価の条件
- 触覚を後付けすると素のπ0.5(17%)より下がる
プロジェクトページの結果節とパナソニックHD発表に基づく。65%対35%は12作業×16試行の著者評価で、作業の進み具合に応じた部分評価を含む。触覚なしとπ0.5系の数値はプロジェクトページの削除実験の値(削除実験は代表6作業の平均と同ページに記載)。「世界最高性能」はパナソニックHD調べ(2026年11月5日時点)の表現。
差は30ポイントである。パナソニックHDの発表は「既存手法を30ポイント上回る」と述べ、論文とプロジェクトページも同じ数値を示す。65%と35%の差であって、成功率が30%改善されたわけではない。比較対象EgoScaleも一人称映像での事前学習を使う最強の手法であり、触覚を後付けしたπ0.5は素のπ0.5より成功率が下がる。触覚の入れ方自体が結果を左右する。
100時間の触覚データと3段階の学習
学習データは両腕ロボットDexmate Vega-1に22自由度のハンドSharpa Waveを付け、指先10点の触覚センサーで収集した。日用品207種と基本動作22種の組み合わせごとに実演を取り、軌跡7,700件超、計100時間である。各実演には頭部と手首のカメラ映像、ロボットの状態、10指の力と変形、言語指示が同期して記録されている。
公開されているのはこのうち約50時間、5,400軌跡超の一部である。Hugging FaceにLeRobot v3.0形式で公開されており、GitHubのREADMEは「100時間のデータセットのうち約50時間を公開」と説明する。全量の公開を示す記述は確認できていない。
- 01 事前学習
視覚と言語の基礎
22,889時間の一人称視点映像で学ぶ。触覚は扱わない。
- 02 中間学習
触覚に合わせる
100時間の触覚付き操作データで、tactile expertを起点から学習する。
- 03 事後学習
作業ごとに仕上げる
各作業約100件の実演で調整する。
プロジェクトページのTraining recipeとパナソニックHD発表に基づく。事前・中間学習のコーパスは同梱されず、リポジトリは中間学習済みチェックポイントから事後学習を始める構成。
公開範囲と今後の適用先
リポジトリZhuoyangLiu2005/T-RexはMITライセンスで公開されている。mainブランチは事後学習と推論のコードで、事前・中間学習のコードはfull-pipelineブランチにある。事前学習済みと中間学習済みのチェックポイント2種をHugging Faceで公開し、中間学習済みのものから利用者が自分の作業で仕上げる使い方を案内している。収集した機体や触覚センサーが異なる環境での動作は今回の評価には含まれない。
パナソニックHDは適用先として、製造現場の部品の挿入やねじ締め、物流現場の柔らかい物や壊れ物の取り扱いを挙げる。評価は接触を伴う12作業に限られ、商用環境での信頼性や安全性の検証は示されていない。公開データと重みを使った第三者による再現も、今回確認した範囲では公表されていない。
出典
- パナソニックHD「パナソニックHD、指先の触覚に即応して器用な両手作業を行うロボット操作AIを共同開発」2026-11-05一次資料。共同研究機関、約5Hzと約20Hz、12作業65%と30ポイント差、触覚なし42%、100時間データ、3段階学習、CoRL 2026発表、適用先。2026-11-10本文確認。
- T-Rex: Tactile-Reactive Dexterous Manipulation(プロジェクトページ)2026-11-10確認一次資料。Mixture-of-Transformers、temporal tactile VQ-VAE、cascaded flow matching、207種×22基本動作のデータ構成、12作業別の成功率、削除実験(代表6作業平均)。2026-11-10本文確認。
- T-Rex: Tactile-Reactive Dexterous Manipulation(arXiv:2606.17055)2026-06-15公開一次資料。論文の公開日と要旨(100時間データ、variable-rate MoT、12作業で最強比較を30ポイント超)。2026-11-10本文確認。
- ZhuoyangLiu2005/T-Rex(GitHub、MITライセンス)2026-11-10確認一次資料。Qwen3-VL-2Bバックボーン、公開データ約50時間・5,400軌跡超(LeRobot v3.0)、mainブランチとfull-pipelineブランチの範囲、チェックポイント2種。2026-11-10本文確認。
出典の確認日 2026.11.10