智能体外围系统进化研究:总体指标改善仍伴随任务退步
一项研究通过重复评估和执行轨迹检查,区分智能体进化中的成功稳定性、任务覆盖与行为退步,并据此修订候选选择和修改规则。
论文阅读笔记 · arxiv.org · 原文日期 2026-11-05
研究对象:固定权重,修改外围系统
这项研究考察智能体外围系统的持续修改:保持模型权重不变,调整影响观察和行动的系统部分。依照不同框架的编辑权限,修改对象可以包括提示词、技能、工具接口、编排或源码。作者关注的是,这类修改带来的基准分数提升,能否转化为可靠、经济且可迁移的改进。
重复评估:新增与丢失的任务分别记录
作者将最终选定版本与对应初始版本各运行八轮:可靠性是全部执行的成功比例,覆盖率是八轮中至少成功一次的任务比例。论文报告,所测进化版本都既新增覆盖任务,也丢失原有覆盖任务;即使两项总体指标同时改善,具体任务仍可能退步。这一观察限于论文所测设置。
轨迹检查:成败翻转对应哪些行为
作者检查选定的对照轨迹,发现成功案例涉及保存恢复文件、遵守操作依赖;失败案例则包括参数错误、提前结束,以及结果在本地可用、却无法在要求的环境中运行。这些是抽取案例中的行为观察,不能把每次成败翻转直接解释为获得或遗忘了任务知识。
算子修订:把保留行为写进修改依据
据此,论文提出协调修订选择、分析、修改和准入规则:选择父代时用行为保留证据处理同分,诊断时连接执行轨迹并明确应保留的有效行为,生成修改时保留必要依赖,候选同分时考虑资源消耗。这些是作者提出并用于后续验证的设计,不能直接视为适用于所有智能体的通用规则。
原始标题:Beneath the Surface: What We Overlook When We Talk About Agent Evolution
来源:arxiv.org