NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

ReSpaceBench、部屋の再訪でAIの空間記憶を9タスクで評価──最良モデル50.5%に対し人間は90.1%

清華大学とByteDance PICOの研究チームは2026年11月16日、ロボットやウェアラブルAIが一度訪れた部屋を別の角度から再訪したとき、同じ場所と認識して物体の変化を追えるかを測るベンチマークReSpaceBenchをarXivで公開した。合成住宅と実住宅の590シーン、3,037室、353.4時間の映像から3,244問を9タスクで出題し、32モデルとエージェント型動画解析3方式を評価した。ゼロショットの最高値は全体で50.5%、人間は共通450問サブセットで90.1%だった。数値は著者の評価で、データとコードの公開URLは今回確認できていない。

家庭ロボットやAR支援では、昨日入った部屋を今日もう一度訪れたとき、見た目が似た別の部屋と取り違えないことが欠かせない。論文はこの課題を3つの困難に分ける。視点が変わっても同じ場所と分かること、外観が似た別の部屋を区別すること、再訪のたびに変わる室内の状態を追うことだ。既存の空間理解評価は単一の映像や短い動画が中心で、別セッションに分かれた訪問の間、部屋の同一性を明示的には確かめてこなかった。

「持続的な空間理解には、視点の変化があっても再訪した場所を認識し、似た外観の部屋と区別し、環境の変化にあわせて記憶を更新することが求められる。」

It requires recognizing revisited places despite viewpoint changes, distinguishing them from similar-looking rooms, and updating memories as environments change.

arXiv:2611.21485「Abstract」(2026-11-16公開、2026-11-17確認)

再訪は「部屋に入ること」で定義

ベンチマークの映像は、3D-FRONTとProcTHORの合成住宅、FAROのレーザースキャナーで実測した住宅、PICOヘッドセットで撮った自視点映像から作る。訪問は、視野に部屋が映ることではなく、物理的に部屋へ入ることで定義する。経路には外観が似た同種の部屋をわざと候補に置き、別セッションの間に物体の状態を変える。出題は部屋の対応づけ、状態の追跡、下流の推論に分かれる9タスク・3,244問で、人間評価やエージェント実験には1タスク50問の450問サブセット(ReSpaceBench-mini)を使う。

図解ベンチマークの構成と出題までの流れ
  1. 01 シーン

    590シーン・3,037室

    合成住宅(3D-FRONT、ProcTHOR)とレーザー実測の住宅、PICO自視点映像

  2. 02 経路

    再訪の演出

    訪問を部屋への物理的な入室と定義し、経路を制御して作る

  3. 03 撹乱

    同種の部屋

    外観が似た別の部屋を候補に置き、取り違えを試す

  4. 04 状態

    セッション間の変化

    別セッションで物体の位置を変え、記憶の更新を試す

  5. 05 出題

    9タスク・3,244問

    部屋対応・状態追跡・下流推論の9タスクで質問を作る

arXiv:2611.21485の本文3章と図3(2026-11-17確認)から作成。映像は353.4時間。

最良モデル50.5%、人間とは37.9ポイント差

32モデルとエージェント型動画理解3方式を評価した結果、ゼロショットの最高値は全体で50.5%だった。共通の450問サブセットでは、最高のゼロショットモデルGPT-5.6 Solが52.2%、人間の評価者は90.1%で、差は37.9ポイント開いた。エージェント型の動画解析を重ねても、同じ基盤モデルの直接推論より全体の成績は上がらなかった。実行記録の分析では、根拠の見落としと、訪問をまたいだ部屋の取り違えが主な失敗パターンで、6つの企業モデルの部屋対応の失敗の66.5〜88.3%を誤った部屋の選択が占めた。

図解共通450問サブセット(ReSpaceBench-mini)の正答率
  • 人間(評価者)

    450問の正答率
    90.1%
  • Qwen3-VL-8B(RS-30Kで追加学習)

    450問の正答率
    60.2%
  • GPT-5.6 Sol

    450問の正答率
    52.2%
  • Seed 2.0 Pro

    450問の正答率
    51.6%
  • Qwen 3.8 Max

    450問の正答率
    48.9%
  • Qwen3-VL-8B

    450問の正答率
    41.1%

arXiv:2611.21485の図1(2026-11-17確認)。9タスク全体にわたる450問での値。全体3,244問でのゼロショット最高は50.5%で、サブセットの値とは母集団が異なる。

RS-30Kでの追加学習は35.5%を60.4%へ

著者らはベンチマークとテンプレート、シーン、経路、映像が重複しない学習用データセットRS-30Kを論文で示した。合成ソースから作った3万問で、Qwen3-VL-8Bに追加学習すると全体の正答率が35.5%から60.4%に上がった。伸びは部屋対応のタスクが最大で、状態追跡と推論では小さく、一貫しなかった。改善は実住宅のシーンにも及んだと論文は報告する。

読むときの留保

数値は著者の評価で、独立した再現ではない。50.5%は全体、52.2%と90.1%は450問サブセットの値で、母集団が違うため直接比べられない。60.4%は指定モデルとRS-30Kの条件での値だ。論文はベンチマークとRS-30Kの提供に触れているが、データと評価コードの公開URLやライセンスは今回確認できず、実際にダウンロードできるかも未確認だ。空間記憶の改善がそのまま安全なロボット動作につながるわけではない。

出典

  1. arXiv:2611.21485 要約ページ要旨(590シーン・3,244問・9タスク、50.5%/52.2%/90.1%、35.5%→60.4%)、著者、公開日2026-11-16
  2. arXiv:2611.21485 PDF本文所属(清華大学、PICO ByteDance)、3,037室・353.4時間、図1の450問比較、失敗分析(66.5〜88.3%が誤った部屋の選択)、RS-30Kの構成、3D-FRONT・ProcTHOR・FARO・PICOのデータ源

出典の確認日 2026.11.17

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む