Ropedia Xperience 2:联合采集场景扫描与人类活动

论文把三维扫描与第一人称任务记录关联起来,供机器人学习复用;发布扫描、采集清单和推断生成的资产需要分别理解。

Share
Ropedia Xperience 2:联合采集场景扫描与人类活动
原文配图 · 图片出处

论文阅读笔记 · arxiv.org · 原文日期 2026-11-12

发布扫描与采集清单分开计数

Ropedia Xperience 2 已发布1589份场景扫描;更广泛的采集清单覆盖596个地点、4230段任务记录,共131小时。其采集协议由一名操作员执行:先用手持设备扫描场景,再佩戴头部记录器完成任务,一次扫描为多段活动提供空间背景。

身体姿态与语言标注的来源不同

身体运动由模型估计,活动标注则由多模态模型生成,覆盖整段任务、子任务、动作及其时间区间。身体估计受头部和手部观测约束,但腿部等不可见部位依赖学习到的运动先验。因此,使用这些资产时,需要区分观测、估计和生成内容。

空间配准仍受局部漂移限制

管线用留出帧、惯性测量的重力方向,以及深度与场景网格的几何检查评估对齐,并赋予通过、较弱或失败标签。这些检查用于判断活动记录能否可靠放入场景坐标系,但单次整体变换无法修正一段记录内部的局部定位漂移。

保留发布不代表每项质检均通过

场景质检检查准备情况、门的状态、房间覆盖、边角缺口与遮挡区域,并记录移动人物、重影或重建失败等缺陷。论文明确,发布等级结合质检记录与发布政策确定;被保留的扫描不意味着通过全部检查,使用者仍需结合等级与缺陷记录筛选。

同次采集复用于环境与行为扩展

作者展示了四条复用途径:将扫描转成交互仿真环境,把人类运动重定向为机器人动作,在仿真中虚拟遥操作,以及生成长程轨迹。论文将这些路线定位为真机遥操作的补充,用于提供不同保真程度的训练环境与示范,而非给出统一的质量保证。

原始标题:Ropedia Xperience 2
来源:arxiv.org