在原生智能体框架内训练LoRA:任务筛选与评测边界
这份适配器方案直接记录原生框架的输出用于强化学习,并公开任务过滤与训练设置;合并权重的选择和非思考模式下的推理文本仍需审慎解读。
项目实践 · huggingface.co · 原文日期 2026-11-20
保留原生框架的执行循环
这份方案让智能体框架按其原有方式运行,再训练模型适应这套执行流程。作者没有在训练框架中重新实现智能体循环,而是在框架与vLLM之间放置代理,记录模型实际产生的词元,供训练器学习,使训练过程保留实际使用中的交互方式。
分开检查任务有效性与难度
任务筛选先排除失效任务,再保留基础模型仅部分尝试成功的任务。为检查这两道过滤的作用,作者进行了四组最多50步的短训练,分别使用流程不同阶段的任务。这一设计把任务能否正常评测、是否适合当前模型学习分开检查。
明确此次训练的具体设置
作者用TRL的AsyncGRPOTrainer在Qwen3.8-27B上训练LoRA,并通过all-linear设置挂载适配器。此次训练在采样阶段关闭思考模式,最终评测则覆盖开启与关闭两种状态;奖励结合验证器判定的正确性与0.1的工具效率奖励。这些是该实验的具体设置。
合并权重使用了评测集信息
合并版本的权重选择使用了评测集信息:作者用训练至第120步的适配器,在Terminal-Bench 2.1上选定二分之一权重。因此,作者承认该基准的结果略偏乐观;SWE-bench Pro没有参与这一步,阅读结果时应保留这一限制。
关闭思考模式后的推理文本
作者发布后检查评测轨迹,发现模型在非思考模式下仍倾向于先生成短文本,再调用工具,其中部分文本类似推理痕迹。他们将其解释为可能的“推理泄漏”。这一观察意味着,理解模型学到的行为还需检查实际输出,不能只依据思考模式开关。
原始标题:Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost
来源:huggingface.co