> ## Content Index
> Fetch the complete content index at: https://binnn.top/llms.txt
> Use this file to discover other available public pages before exploring further.

# 决策模型如何教智能体：完整轨迹与动作贡献提问的作用
- URL: https://binnn.top/decision-models-teach-agent-policies/
- Published: 2026-11-13T12:00:19.000Z
- Updated: 2026-11-13T15:46:26.000Z
- Description: 论文区分执行、评判和训练监督三种角色。作者报告，JEV的教学效果依赖完整轨迹与动作贡献提问的组合，换一种问法甚至可能低于仅用结果奖励的基线。
- Author: Sunbin 编辑部
- Tags: AI 最新论文进展, 语言模型, #sunbin-auto, #sunbin-newsroom

论文阅读笔记 · arxiv.org · 原文日期 2026-11-12

## 执行、评判与教学分开考察

作者在ALFWorld比较三个决策模型与三个通用语言模型，分别考察选择动作和评判动作；教师实验则只使用JEV，覆盖ALFWorld与WebShop。研究要回答的是：自己执行任务表现较差的模型，能否通过事后评判，为另一个策略提供有效监督？

## 移除容易子目标的受控诊断

作者从66个任务收集116个状态：物体尚需清洗、加热或冷却，却已能直接放到目的地。每个状态分别使用完整目标、移除放置要求后的目标，保持历史、观察、候选动作与剩余预算相同。移除容易子目标后，六个模型都把更多概率转向先决步骤，支持了容易子目标会干扰动作选择的解释。

## 评分样本须同时含两类动作

评分实验在完整轨迹下比较“任务是否会成功”与“动作是否推进目标”两种提问。作者将完成子目标的动作标为里程碑，将环境和观察均未改变的动作标为无效动作，其余归为其他。比较使用462条ALFWorld轨迹，每条至少含一个里程碑动作和一个无效动作；这一筛选限定了评分分析的覆盖范围。

## 教师收益依赖完整轨迹与贡献提问

在ALFWorld中，作者让JEV查看完整轨迹、判断动作是否推进目标，将评分在采样轨迹组内中心化后加入GRPO结果优势，训练15亿参数策略。以完成任务的比例计，成功率由仅用结果奖励的72.8%升至82.9%；保持完整轨迹、改问任务是否会成功时则为69.3%。这组结果表明，不能把改善笼统归因于增加动作评分。

原始标题：Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents  
[来源：arxiv.org](https://arxiv.org/abs/2611.17167?ref=binnn.top)