Open-HumanWAM:用五万小时人类视频研究机器人预训练

论文公开第一人称视频语料与训练流程,研究数据规模和机器人任务表现的关系,同时披露动作表示、实机评测及目标图像审核的边界。

Share
Open-HumanWAM:用五万小时人类视频研究机器人预训练
原文配图 · 图片出处

论文阅读笔记 · arxiv.org · 原文日期 2026-11-04

五万小时视频怎样筛选

团队从多个公开第一人称数据集中整理出5万小时视频,配有手部运动及语言标注。筛选依据包括手部是否可见、运动是否稳定以及是否正在操作物体;不同来源的动作标注还需对齐,才能共同用于机器人预训练。

双手动作接口不包含行走

统一动作表示描述双手运动及开合,不要求人类与机器人共享关节结构。其范围限于双手操作,没有加入行走维度。作者解释,第一人称视频中的身体或头部运动较不规则,且不同来源存在标注缺失,难以从中提取有效监督。

规模规律来自受控仿真

作者将纯人类预训练数据从100小时扩至5万小时,随后采用相同的机器人后训练流程,以闭环仿真中的任务成功率评估表现。论文报告,预训练时长与分布外成功率呈经验性对数线性关系;这一观察仍限于文中的语料、模型与评测设置。

实机成功判定与阶段分数分开

实机零样本评测以目标图像指定任务,覆盖20项任务,每项试验10次,共200次,不提供目标任务示范,也不更新参数。任务是否成功与阶段得分分别判定,两个指标均先对试验取平均,再对任务等权平均;成功不一定意味着阶段得分满分。

目标图像通过审核的含义

用于评测的新生成目标图像共7032张,修复后全部通过审核,但修复图像采用了比首次审核更宽松的标准。论文明确,这项审核只检查画面与指令是否一致,不验证物理可行性或仿真任务是否成功,因此不能将审核通过率当作机器人执行表现。

原始标题:Open-HumanWAM: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models
来源:arxiv.org