家庭ロボットやAR支援では、昨日入った部屋を今日もう一度訪れたとき、見た目が似た別の部屋と取り違えないことが欠かせない。論文はこの課題を3つの困難に分ける。視点が変わっても同じ場所と分かること、外観が似た別の部屋を区別すること、再訪のたびに変わる室内の状態を追うことだ。既存の空間理解評価は単一の映像や短い動画が中心で、別セッションに分かれた訪問の間、部屋の同一性を明示的には確かめてこなかった。
「持続的な空間理解には、視点の変化があっても再訪した場所を認識し、似た外観の部屋と区別し、環境の変化にあわせて記憶を更新することが求められる。」
It requires recognizing revisited places despite viewpoint changes, distinguishing them from similar-looking rooms, and updating memories as environments change.
再訪は「部屋に入ること」で定義
ベンチマークの映像は、3D-FRONTとProcTHORの合成住宅、FAROのレーザースキャナーで実測した住宅、PICOヘッドセットで撮った自視点映像から作る。訪問は、視野に部屋が映ることではなく、物理的に部屋へ入ることで定義する。経路には外観が似た同種の部屋をわざと候補に置き、別セッションの間に物体の状態を変える。出題は部屋の対応づけ、状態の追跡、下流の推論に分かれる9タスク・3,244問で、人間評価やエージェント実験には1タスク50問の450問サブセット(ReSpaceBench-mini)を使う。
- 01 シーン
590シーン・3,037室
合成住宅(3D-FRONT、ProcTHOR)とレーザー実測の住宅、PICO自視点映像
- 02 経路
再訪の演出
訪問を部屋への物理的な入室と定義し、経路を制御して作る
- 03 撹乱
同種の部屋
外観が似た別の部屋を候補に置き、取り違えを試す
- 04 状態
セッション間の変化
別セッションで物体の位置を変え、記憶の更新を試す
- 05 出題
9タスク・3,244問
部屋対応・状態追跡・下流推論の9タスクで質問を作る
arXiv:2611.21485の本文3章と図3(2026-11-17確認)から作成。映像は353.4時間。
最良モデル50.5%、人間とは37.9ポイント差
32モデルとエージェント型動画理解3方式を評価した結果、ゼロショットの最高値は全体で50.5%だった。共通の450問サブセットでは、最高のゼロショットモデルGPT-5.6 Solが52.2%、人間の評価者は90.1%で、差は37.9ポイント開いた。エージェント型の動画解析を重ねても、同じ基盤モデルの直接推論より全体の成績は上がらなかった。実行記録の分析では、根拠の見落としと、訪問をまたいだ部屋の取り違えが主な失敗パターンで、6つの企業モデルの部屋対応の失敗の66.5〜88.3%を誤った部屋の選択が占めた。
人間(評価者)
- 450問の正答率
- 90.1%
Qwen3-VL-8B(RS-30Kで追加学習)
- 450問の正答率
- 60.2%
GPT-5.6 Sol
- 450問の正答率
- 52.2%
Seed 2.0 Pro
- 450問の正答率
- 51.6%
Qwen 3.8 Max
- 450問の正答率
- 48.9%
Qwen3-VL-8B
- 450問の正答率
- 41.1%
arXiv:2611.21485の図1(2026-11-17確認)。9タスク全体にわたる450問での値。全体3,244問でのゼロショット最高は50.5%で、サブセットの値とは母集団が異なる。
RS-30Kでの追加学習は35.5%を60.4%へ
著者らはベンチマークとテンプレート、シーン、経路、映像が重複しない学習用データセットRS-30Kを論文で示した。合成ソースから作った3万問で、Qwen3-VL-8Bに追加学習すると全体の正答率が35.5%から60.4%に上がった。伸びは部屋対応のタスクが最大で、状態追跡と推論では小さく、一貫しなかった。改善は実住宅のシーンにも及んだと論文は報告する。
読むときの留保
数値は著者の評価で、独立した再現ではない。50.5%は全体、52.2%と90.1%は450問サブセットの値で、母集団が違うため直接比べられない。60.4%は指定モデルとRS-30Kの条件での値だ。論文はベンチマークとRS-30Kの提供に触れているが、データと評価コードの公開URLやライセンスは今回確認できず、実際にダウンロードできるかも未確認だ。空間記憶の改善がそのまま安全なロボット動作につながるわけではない。
出典
- arXiv:2611.21485 要約ページ要旨(590シーン・3,244問・9タスク、50.5%/52.2%/90.1%、35.5%→60.4%)、著者、公開日2026-11-16
- arXiv:2611.21485 PDF本文所属(清華大学、PICO ByteDance)、3,037室・353.4時間、図1の450問比較、失敗分析(66.5〜88.3%が誤った部屋の選択)、RS-30Kの構成、3D-FRONT・ProcTHOR・FARO・PICOのデータ源
出典の確認日 2026.11.17