論文「Perceptive Humanoid Motion from Simulation」はarXivに2026年11月4日付で登録された(cs.RO、v1)。著者はSiyuan Hu、Abulikemu Abuduweili、Yue Meng、Shipeng Liu、Quentin Leboutet、Chen Chen、Matthias Müller、Vladlen Koltunの8名で、所属表記はAppleだ。コードはGitHubのapple-aiml-research/ml-halo(リポジトリ作成は11月5日、GitHub API実測)に公開され、プロジェクトページに実機の映像が置かれている。実機にはUnitree G1を使い、頭部にカメラ、背面にMac miniを載せた改造を加えている。
「訓練で実住宅を一度も見ることなく、HALOは物理世界へゼロショットで転移し、地図のない6つの実環境での360試行で91%の成功率を達成した。」
Without ever seeing a real home during training, HALO transfers zero-shot to the physical world, achieving a 91% success rate across 360 trials in six unmapped real-world environments.
テレオペレーションの代わりに1000の合成住宅を使う
ヒューマノイドを画像と自由文の指示から関節指令まで学ばせるには、対応の取れたデータが要る。論文が挙げる人手の遠隔操作や装着型のモーションキャプチャでは、1時間のデータに少なくとも1時間の人間の時間がかかる。HALOはこの工程を手続き生成に置き換える。INFINIGENで作った1,000軒の住宅に動作を配置し、衝突のない軌跡として映像・言語・動作のペアを作る。コーパスは1,000環境にわたる300時間で、合成には250基のH100で48時間を要し、人手介入はないという。動作generatorの学習には64基のB200、動作追従のtrackerの学習には4基のH100を使った。獲得するスキルは、椅子に座る、名前で指定された物体への移動、半開きのドアの側方通過、机の下へのしゃがみ込みとくぐり、箱押しの5種で、オーケストレータが言語指示をサブタスク列に分解して組み合わせる。
- 01 住宅生成
1,000軒
INFINIGENで手続き生成。家具の注釈付けや現地計測は不要。
- 02 動作生成
datagen
動作クリップを住宅に配置し、Isaac / MuJoCoで描画して学習データを作る。250基のH100で48時間。
- 03 コーパス
300時間
1,000環境にわたる動画・言語・動作のペアデータ。
- 04 学習
generatorとtracker
動作generatorは64基のB200、動作追従trackerは4基のH100で学習。言語と自己視点画像からサブタスク計画を出すorchestratorが行動を組み立てる。
- 05 実機
Unitree G1
学習済みの行動を未知の実住宅へゼロショットで展開する。
論文Sec.3-A、Appendix AとGitHubリポジトリのREADME(datagen/generator/tracker/orchestrator/systemの構成)に基づく。数値は論文の記載どおり。
未知の実環境で360試行、成功率91%(著者報告)
評価は6タスク(物体への移動、着席、ドア通過、しゃがみ、くぐり、箱押し)について、シミュレータの未経験環境100か所と実環境6か所で、タスクごとに10試行ずつ行い、シミュレータ6,000試行と実機360試行の成功率を数えた。単一タスクの成功率はシミュレータ平均91%、実機平均91%と著者は報告する。一連のサブタスクを連ねる複合タスクは別評価で、実環境1か所を含む設定で3つのシーケンスを試し、ドア通過から物体移動への連鎖は71%と、単一タスク成功率の積89%を下回った。論文は失敗の多くを、直前のサブタスクの終了姿勢が次の対象物を視野から外すことに由来すると分析し、その場で周囲を見回すリカバリ動作の追加を課題として挙げる。
1,000軒
- 成功率
- 84%
- 差
- 基準
100軒
- 成功率
- 81%
- 差
- −3ポイント
10軒
- 成功率
- 64%
- 差
- −20ポイント
1軒
- 成功率
- 43%
- 差
- −41ポイント
論文Table IIIの訓練環境数のみを変えたアブレーション。着席(SIT)タスクを未経験のシミュレータ環境100か所で10試行ずつ評価した。他の段階はHALOの設定で固定。数値は著者の実験結果で、第三者による再現はまだない。
実機の構成も論文に載っている。Unitree G1の頭部にOAK-1Wカメラ(視野120度、30fps)、背面の筺体にMac mini M4 Pro(64GB)を積み、言語と画像から軌道計画までを担う。低レベルの制御ループはロボット本体のJetson Orin NXで動き、下向きのIntel RealSense D435iのステレオ信号をTensorRTで処理した深度を使い、リアルタイムのC++プロセスが関節指令を出す。全体は無線ケーブルなしの完全自立動作として運転できる。
公開コードの範囲と残る検証
GitHubリポジトリは、合成データ生成(datagen)、動作generator、動作追従のtracker、タスク分解のorchestrator、閉ループ実行(system)の五つの構成要素をフォルダごとに公開し、学習と実機展開の手順をREADMEに置く。ライセンスはGitHub APIでNOASSERTION、つまり独自条項のあるライセンスだ。READMEはtrackerの学習済み重みが同梱されないことを注記している。91%の成功率は著者報告の特定360試行の値で、一般の家庭での安全性や稼働率を示すものではない。実機の独立再現、異なる床材や間取り、別のロボット機種での汎化は、この論文の検証範囲の外に残る。投稿は2026年11月4日で、新しい発表日と混同しないよう日付を区別して扱った。
出典
- Perceptive Humanoid Motion from Simulation(arXiv:2611.06908、PDF全文)提出 2026-11-04。著者8名と所属Apple、要旨、Sec.3のデータ生成(INFINIGEN 1,000軒・300時間)、Appendix Aの計算資源(250基H100×48時間など)、Sec.5の評価(360試行91%・複合タスク71%)とTable III、Sec.5-Bのハードウェア。確認日 2026-11-11
- apple-aiml-research/ml-halo(GitHubリポジトリ)作成 2026-11-05、ライセンスNOASSERTION(GitHub API実測)。README全文でdatagen/generator/tracker/orchestrator/systemの構成とtracker重み非同梱の注記を確認。確認日 2026-11-11
- HALO — Perceptive Humanoid Motion from Simulation(プロジェクトページ)論文・コード・実機映像への入口。確認日 2026-11-11
出典の確認日 2026.11.11