决策模型如何教智能体:完整轨迹与动作贡献提问的作用
论文区分执行、评判和训练监督三种角色。作者报告,JEV的教学效果依赖完整轨迹与动作贡献提问的组合,换一种问法甚至可能低于仅用结果奖励的基线。
论文阅读笔记 · arxiv.org · 原文日期 2026-11-12
执行、评判与教学分开考察
作者在ALFWorld比较三个决策模型与三个通用语言模型,分别考察选择动作和评判动作;教师实验则只使用JEV,覆盖ALFWorld与WebShop。研究要回答的是:自己执行任务表现较差的模型,能否通过事后评判,为另一个策略提供有效监督?
移除容易子目标的受控诊断
作者从66个任务收集116个状态:物体尚需清洗、加热或冷却,却已能直接放到目的地。每个状态分别使用完整目标、移除放置要求后的目标,保持历史、观察、候选动作与剩余预算相同。移除容易子目标后,六个模型都把更多概率转向先决步骤,支持了容易子目标会干扰动作选择的解释。
评分样本须同时含两类动作
评分实验在完整轨迹下比较“任务是否会成功”与“动作是否推进目标”两种提问。作者将完成子目标的动作标为里程碑,将环境和观察均未改变的动作标为无效动作,其余归为其他。比较使用462条ALFWorld轨迹,每条至少含一个里程碑动作和一个无效动作;这一筛选限定了评分分析的覆盖范围。
教师收益依赖完整轨迹与贡献提问
在ALFWorld中,作者让JEV查看完整轨迹、判断动作是否推进目标,将评分在采样轨迹组内中心化后加入GRPO结果优势,训练15亿参数策略。以完成任务的比例计,成功率由仅用结果奖励的72.8%升至82.9%;保持完整轨迹、改问任务是否会成功时则为69.3%。这组结果表明,不能把改善笼统归因于增加动作评分。
原始标题:Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents
来源:arxiv.org