NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Robbyantが異種触覚センサーの基盤モデルLingBot-Touchを公開 磁気・感圧・視触覚の信号を4,983時間で統合学習し、推論コードと重みをApache-2.0で配布

ロボット開発企業のRobbyant(蚂蚁灵波科技、Ant Group傘下)は2026年11月9日、磁気式・感圧抵抗式・視触覚式という異なる触覚センサーの信号を1つの潜在空間で統合する表現モデルLingBot-Touchを公開した。技術報告をarXivに登録し、推論コードをGitHubでApache-2.0ライセンスにして、TinyとSmallの学習済み重みをHugging FaceとModelScopeで配布する。事前学習データは4,983時間・46万4,431エピソード・約13.3億フレーム。実機26タスクの評価では、既存の4種のポリシーに触覚トークンを追加すると成功率が平均13.9〜24.8ポイント上がったと著者は報告する。性能値は著者の実験結果で、第三者による再現はまだない。

公開資料は三つそろっている。技術報告「Learning Heterogeneous Tactile Representation for General Dexterous Manipulation」はarXivに2026年11月9日付で登録され(cs.RO)、コードのリポジトリも同日に作成された。ライセンスはApache-2.0で、Hugging FaceのTiny版(546万パラメータ)はconfig.jsonとencoder.ptをApache-2.0の表示付きで配布する。会社について、プロジェクトサイトのフッターは「An embodied AI company under Ant Group」と説明し、LingBotという共通の名前で視覚、深度、VLAなどのモデル群を出している。

「すべてのセンサーを合わせ、データとともにモデルを大きくすること。今日、独自に5,000時間を持つ触覚センサーはなく、この実験はそれを必要としないことを示した。別のセンサー方式の時間が、強さと時間変化に関わる情報の大部分を運ぶ。」

Pool every sensor, and scale the model with the data. No tactile sensor today has 5,000 hours of its own, and these experiments show it does not need them: hours from other transducers carry most of what matters for intensity and dynamics

技術報告Sec.4.4のTakeaway、arXiv:2611.12806、2026年11月9日提出

3方式のセンサーを正規化した空間で統合する

背景にあるのは、触覚センサーの断片化だ。方式ごとに感知点の配置と座標系が違い、ロボットハンドに合わせた特徴設計と学習をやり直す必要があった。LingBot-Touchは、センサー別のトークナイザーが各方式の信号をトークン列に変換し、指先の3次元座標を共通の基準空間へ正規化してから、共有のHaptic Transformerに入力する。学習は潜在空間でのマスク予測(JEPA方式)で行い、出力トークンは時間・指・空間の位置情報を保つ。モデルは12層で、小さいHaT-Tinyが546万パラメータ、HaT-Smallが2,176万パラメータになる(トークナイザーと共有バックボーンを含み、事前学習の予測器と下流タスクのヘッドは除く)。

図解事前学習データの構成(技術報告Table 1とプロジェクトサイト)
  • 感圧抵抗式TACHIN手袋

    収録時間
    2,197時間
    エピソード数
    86,906
    取得方法
    手袋を装着したヒトの操作
  • 磁気式PaXini手袋

    収録時間
    1,136時間
    エピソード数
    294,871
    取得方法
    手袋を装着したヒトの操作
  • 視触覚式Sharpa Wave指先

    収録時間
    1,650時間
    エピソード数
    82,654
    取得方法
    両腕ロボットのテレ操作

技術報告のTable 1とFig.2、プロジェクトサイトの「Touch at Scale」に基づく。合計は4,983時間・46万4,431エピソード・約13.3億フレームで、操作は24種類のカテゴリに分かれる。数値は著者の公表値。

実機26タスクで4種のポリシーを比較(著者報告)

評価はSharpa Waveの20タスクとXHandの6タスク、計26の両腕タスクで、各タスク20試行の成功率を平均した。比較対象はDiffusion Policy、π0.5、LingBot-VLA、T-Rexの4種で、凍結したHaT-Tiny(4,000時間で事前学習)のトークンをポストトレーニングで追加する。学習に使うデモは1タスク200エピソード、両腕の協調が必要なタスクは500エピソードだ。

26タスク平均の成功率は、Diffusion Policyが21.6%から35.6%、π0.5が48.1%から69.9%、LingBot-VLAが48.3%から73.1%、T-Rexが45.4%から68.6%に上がったと報告されている。上げ幅は13.9〜24.8ポイントで、同じポリシーに生の触覚信号を与えた場合は最大でもその約半分にとどまるという。104のタスクとポリシーの組み合わせのうち89で3構成中の最高になり、99で元のポリシー以上だった。追加されるパラメータはエンコーダーの546万で、強化先のポリシー全体の0.2%未満に当たる。

図解実機26タスクの平均成功率(技術報告Sec.5.2、著者報告)
  • Diffusion Policy

    元のモデル
    21.6%
    +Touch
    35.6%
    上げ幅
    +13.9ポイント
  • π0.5

    元のモデル
    48.1%
    +Touch
    69.9%
    上げ幅
    +21.8ポイント
  • LingBot-VLA

    元のモデル
    48.3%
    +Touch
    73.1%
    上げ幅
    +24.8ポイント
  • T-Rex

    元のモデル
    45.4%
    +Touch
    68.6%
    上げ幅
    +23.2ポイント

技術報告Sec.5.2の26タスク平均。各タスク20試行。+Touchは凍結したLingBot-Touch(HaT-Tiny、4,000時間で事前学習)のトークンをポストトレーニングで追加した構成。生の触覚信号を追加した構成は「上げ幅が最大でも約半分」という定性記述のみで、個別の数値は今回確認していない。性能値はすべて著者の実験結果で、第三者による再現はまだない。

転移の鍵は幾何学の共通化だ。XHandの磁気センサーは事前学習データにないモデルだが、指先の3次元座標を回転・原点・半径を決めて基準空間へ写し、信号値を決められた範囲に正規化すれば、再学習なしでそのまま使えると論文とREADMEは説明する。READMEは対象ごとに既定の座標と変換を同梱し、新しい生のセンサー配置には検証済みの校正が必要と注意を促す。

シミュレーションの強化学習では差がさらに開く

シミュレーションでは、接触の多い12の器用さタスクをPPOで学習し、3シードの平均を5種類の観測構成で比べた。成功率はLingBot-Touchの潜在表現を使う構成が69%、タスク固有のCNN特徴が46%、触覚なしは21%だったと論文は報告する。課題別ではplate spinningが97.4%に達し、最も良い代替構成の82.9%を上回った。pen spinningは97.1%で、代替構成の64.2%との差が大きい。論文はシード間のばらつきも減ったと述べる。

実機での推論は軽い。凍結したエンコーダーが30Hzでサンプリングした16フレームの触覚窓を処理し、学習するcross-attentionの読み出し層が1手あたり40トークンに集約する。集約されたトークンは各ポリシーの条件付け次元へ線形投影され、視覚と関節の感覚情報に並ぶ追加の条件入力としてポリシーに入る。

公開範囲と今後の確認点

GitHubリポジトリは推論コード、SharpaとXHandのサンプルデータ(左右30対ずつ、計120ファイル)、データ変換の手順を公開する。READMEはこれを「Inference release」と明記し、配布物を凍結したターゲットエンコーダーと特徴抽出のユーティリティに限る。学習コードと全学習データは公開範囲に含まれない。重みはGitHubとは別にHugging FaceとModelScopeで配布され、READMEは「モデルファイルはこのソースリポジトリとは別にホストされ、アクセスにはモデルリポジトリへの権限を持つアカウントが必要」と説明する。一方、Hugging Faceのモデルページはゲートを設けておらず、Apache-2.0の表示がある。記載と実際のアクセス条件の差は公開後の動向を見る。

性能数値は著者の実験結果で、成功率には各タスク20試行の平均を使う。未知のセンサーや別メーカーのハンドでの第三者再現、シミュレーション結果の実機への反映は、今後の確認事項として残る。

出典

  1. LingBot-Touch Tactile Foundation Model — Robbyant(プロジェクトサイト)データ規模(4,983時間・46万4,431エピソード・約13.3億フレーム)、HaT-Tinyの546万パラメータ、実機26+シミュレーション12タスク、Ant Group傘下の会社情報。確認日 2026-11-11
  2. Robbyant/lingbot-touch(GitHubリポジトリ)推論公開の範囲、Apache-2.0、Tiny/Smallの重み配布、サンプルデータ、幾何学正規化の手順。リポジトリ作成 2026-11-09(GitHub API)。確認日 2026-11-11
  3. Learning Heterogeneous Tactile Representation for General Dexterous Manipulation(arXiv:2611.12806、PDF全文)提出日 2026-11-09。データ構成(Table 1/Fig.2)、モデル構成、実機26タスクの成功率(Sec.5.2)、シミュレーション12タスク(Sec.5.3)、転移と推論の詳細。確認日 2026-11-11
  4. robbyant/lingbot-touch-tiny(Hugging Face)作成 2026-11-09、Apache-2.0表示、config.jsonとencoder.pt、ゲートなし(API実測)。確認日 2026-11-11
  5. robbyant/lingbot-touch-small(Hugging Face)Small版の重み配布。確認日 2026-11-11

出典の確認日 2026.11.11

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む