公開資料は三つそろっている。技術報告「Learning Heterogeneous Tactile Representation for General Dexterous Manipulation」はarXivに2026年11月9日付で登録され(cs.RO)、コードのリポジトリも同日に作成された。ライセンスはApache-2.0で、Hugging FaceのTiny版(546万パラメータ)はconfig.jsonとencoder.ptをApache-2.0の表示付きで配布する。会社について、プロジェクトサイトのフッターは「An embodied AI company under Ant Group」と説明し、LingBotという共通の名前で視覚、深度、VLAなどのモデル群を出している。
「すべてのセンサーを合わせ、データとともにモデルを大きくすること。今日、独自に5,000時間を持つ触覚センサーはなく、この実験はそれを必要としないことを示した。別のセンサー方式の時間が、強さと時間変化に関わる情報の大部分を運ぶ。」
Pool every sensor, and scale the model with the data. No tactile sensor today has 5,000 hours of its own, and these experiments show it does not need them: hours from other transducers carry most of what matters for intensity and dynamics
3方式のセンサーを正規化した空間で統合する
背景にあるのは、触覚センサーの断片化だ。方式ごとに感知点の配置と座標系が違い、ロボットハンドに合わせた特徴設計と学習をやり直す必要があった。LingBot-Touchは、センサー別のトークナイザーが各方式の信号をトークン列に変換し、指先の3次元座標を共通の基準空間へ正規化してから、共有のHaptic Transformerに入力する。学習は潜在空間でのマスク予測(JEPA方式)で行い、出力トークンは時間・指・空間の位置情報を保つ。モデルは12層で、小さいHaT-Tinyが546万パラメータ、HaT-Smallが2,176万パラメータになる(トークナイザーと共有バックボーンを含み、事前学習の予測器と下流タスクのヘッドは除く)。
感圧抵抗式TACHIN手袋
- 収録時間
- 2,197時間
- エピソード数
- 86,906
- 取得方法
- 手袋を装着したヒトの操作
磁気式PaXini手袋
- 収録時間
- 1,136時間
- エピソード数
- 294,871
- 取得方法
- 手袋を装着したヒトの操作
視触覚式Sharpa Wave指先
- 収録時間
- 1,650時間
- エピソード数
- 82,654
- 取得方法
- 両腕ロボットのテレ操作
技術報告のTable 1とFig.2、プロジェクトサイトの「Touch at Scale」に基づく。合計は4,983時間・46万4,431エピソード・約13.3億フレームで、操作は24種類のカテゴリに分かれる。数値は著者の公表値。
実機26タスクで4種のポリシーを比較(著者報告)
評価はSharpa Waveの20タスクとXHandの6タスク、計26の両腕タスクで、各タスク20試行の成功率を平均した。比較対象はDiffusion Policy、π0.5、LingBot-VLA、T-Rexの4種で、凍結したHaT-Tiny(4,000時間で事前学習)のトークンをポストトレーニングで追加する。学習に使うデモは1タスク200エピソード、両腕の協調が必要なタスクは500エピソードだ。
26タスク平均の成功率は、Diffusion Policyが21.6%から35.6%、π0.5が48.1%から69.9%、LingBot-VLAが48.3%から73.1%、T-Rexが45.4%から68.6%に上がったと報告されている。上げ幅は13.9〜24.8ポイントで、同じポリシーに生の触覚信号を与えた場合は最大でもその約半分にとどまるという。104のタスクとポリシーの組み合わせのうち89で3構成中の最高になり、99で元のポリシー以上だった。追加されるパラメータはエンコーダーの546万で、強化先のポリシー全体の0.2%未満に当たる。
Diffusion Policy
- 元のモデル
- 21.6%
- +Touch
- 35.6%
- 上げ幅
- +13.9ポイント
π0.5
- 元のモデル
- 48.1%
- +Touch
- 69.9%
- 上げ幅
- +21.8ポイント
LingBot-VLA
- 元のモデル
- 48.3%
- +Touch
- 73.1%
- 上げ幅
- +24.8ポイント
T-Rex
- 元のモデル
- 45.4%
- +Touch
- 68.6%
- 上げ幅
- +23.2ポイント
技術報告Sec.5.2の26タスク平均。各タスク20試行。+Touchは凍結したLingBot-Touch(HaT-Tiny、4,000時間で事前学習)のトークンをポストトレーニングで追加した構成。生の触覚信号を追加した構成は「上げ幅が最大でも約半分」という定性記述のみで、個別の数値は今回確認していない。性能値はすべて著者の実験結果で、第三者による再現はまだない。
転移の鍵は幾何学の共通化だ。XHandの磁気センサーは事前学習データにないモデルだが、指先の3次元座標を回転・原点・半径を決めて基準空間へ写し、信号値を決められた範囲に正規化すれば、再学習なしでそのまま使えると論文とREADMEは説明する。READMEは対象ごとに既定の座標と変換を同梱し、新しい生のセンサー配置には検証済みの校正が必要と注意を促す。
シミュレーションの強化学習では差がさらに開く
シミュレーションでは、接触の多い12の器用さタスクをPPOで学習し、3シードの平均を5種類の観測構成で比べた。成功率はLingBot-Touchの潜在表現を使う構成が69%、タスク固有のCNN特徴が46%、触覚なしは21%だったと論文は報告する。課題別ではplate spinningが97.4%に達し、最も良い代替構成の82.9%を上回った。pen spinningは97.1%で、代替構成の64.2%との差が大きい。論文はシード間のばらつきも減ったと述べる。
実機での推論は軽い。凍結したエンコーダーが30Hzでサンプリングした16フレームの触覚窓を処理し、学習するcross-attentionの読み出し層が1手あたり40トークンに集約する。集約されたトークンは各ポリシーの条件付け次元へ線形投影され、視覚と関節の感覚情報に並ぶ追加の条件入力としてポリシーに入る。
公開範囲と今後の確認点
GitHubリポジトリは推論コード、SharpaとXHandのサンプルデータ(左右30対ずつ、計120ファイル)、データ変換の手順を公開する。READMEはこれを「Inference release」と明記し、配布物を凍結したターゲットエンコーダーと特徴抽出のユーティリティに限る。学習コードと全学習データは公開範囲に含まれない。重みはGitHubとは別にHugging FaceとModelScopeで配布され、READMEは「モデルファイルはこのソースリポジトリとは別にホストされ、アクセスにはモデルリポジトリへの権限を持つアカウントが必要」と説明する。一方、Hugging Faceのモデルページはゲートを設けておらず、Apache-2.0の表示がある。記載と実際のアクセス条件の差は公開後の動向を見る。
性能数値は著者の実験結果で、成功率には各タスク20試行の平均を使う。未知のセンサーや別メーカーのハンドでの第三者再現、シミュレーション結果の実機への反映は、今後の確認事項として残る。
出典
- LingBot-Touch Tactile Foundation Model — Robbyant(プロジェクトサイト)データ規模(4,983時間・46万4,431エピソード・約13.3億フレーム)、HaT-Tinyの546万パラメータ、実機26+シミュレーション12タスク、Ant Group傘下の会社情報。確認日 2026-11-11
- Robbyant/lingbot-touch(GitHubリポジトリ)推論公開の範囲、Apache-2.0、Tiny/Smallの重み配布、サンプルデータ、幾何学正規化の手順。リポジトリ作成 2026-11-09(GitHub API)。確認日 2026-11-11
- Learning Heterogeneous Tactile Representation for General Dexterous Manipulation(arXiv:2611.12806、PDF全文)提出日 2026-11-09。データ構成(Table 1/Fig.2)、モデル構成、実機26タスクの成功率(Sec.5.2)、シミュレーション12タスク(Sec.5.3)、転移と推論の詳細。確認日 2026-11-11
- robbyant/lingbot-touch-tiny(Hugging Face)作成 2026-11-09、Apache-2.0表示、config.jsonとencoder.pt、ゲートなし(API実測)。確認日 2026-11-11
- robbyant/lingbot-touch-small(Hugging Face)Small版の重み配布。確認日 2026-11-11
出典の確認日 2026.11.11