DexForesight:把手部运动预测迁入灵巧操作策略
论文用离线深度、手部几何和示范动作训练世界模型,再把预测特征对齐到操作策略;部署时只保留策略,不再生成未来画面。
论文阅读笔记 · arxiv.org · 原文日期 2026-11-10
用运动学补足被遮挡的手指
DexForesight研究灵巧手操作中的空间预测。论文在手部模型的连杆上采样固定点,再依据记录的机器人状态,通过正向运动学计算位置。每个点跨帧保留所属连杆与局部坐标,因此手指弯曲时仍能追踪对应关系,也能为摄像头看不到的手部表面提供训练监督。
同时学习手部位移与视觉变化
世界模型以示范动作作为条件,同时预测手部固定点的三维位移和场景视觉特征变化。前者描述关节运动带来的局部变化,后者描述画面中的场景变化。离线深度通过跨层融合提供当前场景几何;这一训练设计不要求未来时刻也有深度目标。
深度只在最后阶段加入
训练依次经过预热、动力学预训练和深度注入。前两阶段不输入深度,让模型先从图像、语言及手部和机器人状态历史学习动作条件下的变化。最后阶段才在一百小时子集上加入深度:几何编码器冻结,融合模块可训练,主干与预测模块继续共同优化。
把预测特征留在策略内部
世界模型训练完成后被冻结,策略查询读取视觉语言模型的隐藏层,与世界查询对齐,再作为动作生成的条件。作者希望由此把预测知识迁入策略内部。部署时仅运行策略,输入为当前彩色图像、语言和机器人状态;离线深度与世界模型仍属于训练环节的依赖。
原始标题:DexForesight: Grounding Dexterous Policies with Implicit Spatial Foresight
来源:arxiv.org