NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Appleの研究チームがHALOを公開 手続き生成した1000の住宅から視覚・言語・動作データを合成し、未知の実環境360試行で成功率91%を報告

Appleの研究チームは2026年11月4日、手続き生成した1000の住宅で視覚・言語・動作の学習データを合成し、ヒューマノイドロボットの自律行動を学ぶシステムHALOの論文をarXivに公開した。椅子に座る、名前で指定された物体への移動、半開きのドア通過、机の下のくぐり、箱押しを組み合わせた行動を、実住宅を一度も見ずに学習し、未知の実環境6か所・360試行で成功率91%を報告する。訓練環境を1000軒に増やすと成功率が1軒の43%から84%に上がることをアブレーションで示し、データ生成・学習・実機展開のコードをGitHubで公開した。数値は著者による報告で、第三者による実機再現はまだない。

論文「Perceptive Humanoid Motion from Simulation」はarXivに2026年11月4日付で登録された(cs.RO、v1)。著者はSiyuan Hu、Abulikemu Abuduweili、Yue Meng、Shipeng Liu、Quentin Leboutet、Chen Chen、Matthias Müller、Vladlen Koltunの8名で、所属表記はAppleだ。コードはGitHubのapple-aiml-research/ml-halo(リポジトリ作成は11月5日、GitHub API実測)に公開され、プロジェクトページに実機の映像が置かれている。実機にはUnitree G1を使い、頭部にカメラ、背面にMac miniを載せた改造を加えている。

「訓練で実住宅を一度も見ることなく、HALOは物理世界へゼロショットで転移し、地図のない6つの実環境での360試行で91%の成功率を達成した。」

Without ever seeing a real home during training, HALO transfers zero-shot to the physical world, achieving a 91% success rate across 360 trials in six unmapped real-world environments.

論文要旨、arXiv:2611.06908、2026年11月4日提出。数値は著者報告

テレオペレーションの代わりに1000の合成住宅を使う

ヒューマノイドを画像と自由文の指示から関節指令まで学ばせるには、対応の取れたデータが要る。論文が挙げる人手の遠隔操作や装着型のモーションキャプチャでは、1時間のデータに少なくとも1時間の人間の時間がかかる。HALOはこの工程を手続き生成に置き換える。INFINIGENで作った1,000軒の住宅に動作を配置し、衝突のない軌跡として映像・言語・動作のペアを作る。コーパスは1,000環境にわたる300時間で、合成には250基のH100で48時間を要し、人手介入はないという。動作generatorの学習には64基のB200、動作追従のtrackerの学習には4基のH100を使った。獲得するスキルは、椅子に座る、名前で指定された物体への移動、半開きのドアの側方通過、机の下へのしゃがみ込みとくぐり、箱押しの5種で、オーケストレータが言語指示をサブタスク列に分解して組み合わせる。

図解HALOのパイプライン(論文Sec.3とGitHubリポジトリ構成に基づく)
  1. 01 住宅生成

    1,000軒

    INFINIGENで手続き生成。家具の注釈付けや現地計測は不要。

  2. 02 動作生成

    datagen

    動作クリップを住宅に配置し、Isaac / MuJoCoで描画して学習データを作る。250基のH100で48時間。

  3. 03 コーパス

    300時間

    1,000環境にわたる動画・言語・動作のペアデータ。

  4. 04 学習

    generatorとtracker

    動作generatorは64基のB200、動作追従trackerは4基のH100で学習。言語と自己視点画像からサブタスク計画を出すorchestratorが行動を組み立てる。

  5. 05 実機

    Unitree G1

    学習済みの行動を未知の実住宅へゼロショットで展開する。

論文Sec.3-A、Appendix AとGitHubリポジトリのREADME(datagen/generator/tracker/orchestrator/systemの構成)に基づく。数値は論文の記載どおり。

未知の実環境で360試行、成功率91%(著者報告)

評価は6タスク(物体への移動、着席、ドア通過、しゃがみ、くぐり、箱押し)について、シミュレータの未経験環境100か所と実環境6か所で、タスクごとに10試行ずつ行い、シミュレータ6,000試行と実機360試行の成功率を数えた。単一タスクの成功率はシミュレータ平均91%、実機平均91%と著者は報告する。一連のサブタスクを連ねる複合タスクは別評価で、実環境1か所を含む設定で3つのシーケンスを試し、ドア通過から物体移動への連鎖は71%と、単一タスク成功率の積89%を下回った。論文は失敗の多くを、直前のサブタスクの終了姿勢が次の対象物を視野から外すことに由来すると分析し、その場で周囲を見回すリカバリ動作の追加を課題として挙げる。

図解訓練環境の数と着席タスクの成功率(論文Table IIIのアブレーション、著者報告)
  • 1,000軒

    成功率
    84%
    差
    基準
  • 100軒

    成功率
    81%
    差
    −3ポイント
  • 10軒

    成功率
    64%
    差
    −20ポイント
  • 1軒

    成功率
    43%
    差
    −41ポイント

論文Table IIIの訓練環境数のみを変えたアブレーション。着席(SIT)タスクを未経験のシミュレータ環境100か所で10試行ずつ評価した。他の段階はHALOの設定で固定。数値は著者の実験結果で、第三者による再現はまだない。

実機の構成も論文に載っている。Unitree G1の頭部にOAK-1Wカメラ(視野120度、30fps)、背面の筺体にMac mini M4 Pro(64GB)を積み、言語と画像から軌道計画までを担う。低レベルの制御ループはロボット本体のJetson Orin NXで動き、下向きのIntel RealSense D435iのステレオ信号をTensorRTで処理した深度を使い、リアルタイムのC++プロセスが関節指令を出す。全体は無線ケーブルなしの完全自立動作として運転できる。

公開コードの範囲と残る検証

GitHubリポジトリは、合成データ生成(datagen)、動作generator、動作追従のtracker、タスク分解のorchestrator、閉ループ実行(system)の五つの構成要素をフォルダごとに公開し、学習と実機展開の手順をREADMEに置く。ライセンスはGitHub APIでNOASSERTION、つまり独自条項のあるライセンスだ。READMEはtrackerの学習済み重みが同梱されないことを注記している。91%の成功率は著者報告の特定360試行の値で、一般の家庭での安全性や稼働率を示すものではない。実機の独立再現、異なる床材や間取り、別のロボット機種での汎化は、この論文の検証範囲の外に残る。投稿は2026年11月4日で、新しい発表日と混同しないよう日付を区別して扱った。

出典

  1. Perceptive Humanoid Motion from Simulation(arXiv:2611.06908、PDF全文)提出 2026-11-04。著者8名と所属Apple、要旨、Sec.3のデータ生成(INFINIGEN 1,000軒・300時間)、Appendix Aの計算資源(250基H100×48時間など)、Sec.5の評価(360試行91%・複合タスク71%)とTable III、Sec.5-Bのハードウェア。確認日 2026-11-11
  2. apple-aiml-research/ml-halo(GitHubリポジトリ)作成 2026-11-05、ライセンスNOASSERTION(GitHub API実測)。README全文でdatagen/generator/tracker/orchestrator/systemの構成とtracker重み非同梱の注記を確認。確認日 2026-11-11
  3. HALO — Perceptive Humanoid Motion from Simulation(プロジェクトページ)論文・コード・実機映像への入口。確認日 2026-11-11

出典の確認日 2026.11.11

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  2. Apple Intelligence、中国でiPad・Mac向けの生成AI登録を完了 提供開始は未定

    Appleの生成AIサービス「Apple智能(Apple Intelligence)」について、上海のインターネット規制当局は2026年11月9日、Apple製タブレットとノートパソコンの2つの用途が中国での登録(備案)を完了したと公表しました。登録済みの用途はiPhone、タブレット、ノートパソコンの3種類になります。Appleは10月31日の公式発表で、iPhone向け機能の開発者テストを11月4日から、一般提供を12月のiOS 27.3で予定すると説明しており、iPadとMac向けの提供時期は発表されていません。

    記事を読む
  3. Apple、Keynote・Pages・NumbersがMCP対応へ――外部AIエージェントが文書を読み書き・操作、11月提供予定

    Appleは2026年10月27日、クリエイティブアプリ集合「Apple Creator Studio」の新機能を発表した。Keynote・Pages・Numbersに、Apple製モデルとOpenAIモデルを組み合わせ、開いている書類の文脈を理解するAIアシスタント(ベータ)を導入する。3アプリはModel Context Protocol(MCP)にも対応し、外部のAIエージェントやツールがアプリ内のコンテンツを読み取り、編集し、自動アクションを実行できるようになるとしている。アップデートは2026年11月にApp Storeで提供予定で、既存加入者は無料。ただしアシスタントは当初米国英語のみ、MCPはmacOS 27以降が必要である。

    記事を読む