Mind2Act World:分开诊断机器人推理、动作与闭环组合

这项仿真基准用三类任务区分记忆推理、物理执行及二者组合,并结合阶段记录与语言模型判断分析失败。

Share
Mind2Act World:分开诊断机器人推理、动作与闭环组合
原文配图 · 图片出处

论文阅读笔记 · arxiv.org · 原文日期 2026-11-19

三类任务分别施加难点

Mind2Act World包含30项仿真操作任务,分为三组:Mind保留简单动作,重点考查历史信息推理;Act明确告知操作要求,考查执行;Mind2Act让动作结果决定后续步骤。每项任务设三个难度,并搭配干净、随机两种场景,共180种配置。

温控烹饪如何检验闭环

温控烹饪任务把记忆与反馈放进同一流程:机器人须按记住的顺序加入食材,再在锅温达到80℃后切换保温。三个难度的切换窗口依次为4、3、2秒;中、高难度还要求开抽屉和盖锅。成功条件同时检查食材顺序、温控时机及罐子和盖子的归位。

阶段记录与模型判断共同归因

作者设计的诊断框架结合两类材料:对评估器阶段、事件记录的规则分析,以及语言模型裁判的判断。它将三个代表系统的失败回合归入推理、执行或二者组合,并生成模型画像卡,汇总失败模式和行为倾向。这些归因属于该诊断流程给出的分析。

推理暂停限制计时结果的解释

作者报告,表现最强的智能体能较好保留任务状态,却难以维持持续接触。解释其限时任务表现时还须保留一个条件:仿真器在模型推理期间暂停。因此,这些成功记录不能直接说明系统在环境持续变化时也能及时响应;材料中的评估对象仍是仿真任务。

原始标题:Mind2Act World: A Diagnostic Benchmark for Embodied Mind, Physical Action, and Mind-Action Composition in Robotic Manipulation
来源:arxiv.org