> ## Content Index
> Fetch the complete content index at: https://binnn.top/llms.txt
> Use this file to discover other available public pages before exploring further.

# DexForesight：把手部运动预测迁入灵巧操作策略
- URL: https://binnn.top/dexforesight-spatial-policy-transfer/
- Published: 2026-11-11T06:49:24.000Z
- Updated: 2026-11-11T13:07:00.000Z
- Description: 论文用离线深度、手部几何和示范动作训练世界模型，再把预测特征对齐到操作策略；部署时只保留策略，不再生成未来画面。
- Author: Sunbin 编辑部
- Tags: AI 最新论文进展, 机器人, #sunbin-auto, #sunbin-newsroom

论文阅读笔记 · arxiv.org · 原文日期 2026-11-10

## 用运动学补足被遮挡的手指

DexForesight研究灵巧手操作中的空间预测。论文在手部模型的连杆上采样固定点，再依据记录的机器人状态，通过正向运动学计算位置。每个点跨帧保留所属连杆与局部坐标，因此手指弯曲时仍能追踪对应关系，也能为摄像头看不到的手部表面提供训练监督。

## 同时学习手部位移与视觉变化

世界模型以示范动作作为条件，同时预测手部固定点的三维位移和场景视觉特征变化。前者描述关节运动带来的局部变化，后者描述画面中的场景变化。离线深度通过跨层融合提供当前场景几何；这一训练设计不要求未来时刻也有深度目标。

## 深度只在最后阶段加入

训练依次经过预热、动力学预训练和深度注入。前两阶段不输入深度，让模型先从图像、语言及手部和机器人状态历史学习动作条件下的变化。最后阶段才在一百小时子集上加入深度：几何编码器冻结，融合模块可训练，主干与预测模块继续共同优化。

## 把预测特征留在策略内部

世界模型训练完成后被冻结，策略查询读取视觉语言模型的隐藏层，与世界查询对齐，再作为动作生成的条件。作者希望由此把预测知识迁入策略内部。部署时仅运行策略，输入为当前彩色图像、语言和机器人状态；离线深度与世界模型仍属于训练环节的依赖。

原始标题：DexForesight: Grounding Dexterous Policies with Implicit Spatial Foresight  
[来源：arxiv.org](https://arxiv.org/abs/2611.11166?ref=binnn.top)