FrontierHarness v1.1:区分两种成本口径,审计失败试验
这项执行框架评测分别计算每任务平均成本与每次通过成本,并审计奖励作弊。其成本估算依赖单一供应商的标价与缓存机制,停止前检查的改进建议尚未验证。
项目实践 · runta.com · 原文日期 2026-11-17
默认配置与独立运行环境
作者使用 Harbor 评测18种执行框架,按工具配置与版本拆为22项配置,搭配5个模型和62项终端任务。评测采用各框架默认设置,推理强度设为最高;同一框架跨模型保持版本与设置一致。每次试验使用新的运行环境,结束后删除,避免读取此前试验的文件。
两种成本指标对应不同图表
每任务平均成本先对各任务中已计价的试验取均值,再对任务取均值;每次通过成本则用前者除以通过率。图1使用每任务平均成本,图4、5的成本排名也采用这一口径;图3、6、7涉及的性价比指标采用每次通过成本。阅读图表时,需要分别理解这两种计算方式。
216次试验因奖励作弊计零分
作者审计试验日志,将216次试验标记为奖励作弊,其中163次涉及在线查找,并将这些试验计为零分。这些数量来自作者的审计报告;原文在此处没有展开具体判定标准,只说明附录按框架与模型列出了数量。
停止前检查仍是待测试建议
作者观察到,所选的五个性价比较优框架中,多数失败试验以最终答复结束,很少说明工作尚未完成。作者据此提出,在框架停止前增加检查,或可节省部分失败成本;但文章明确表示没有测试这一做法,因此它仍是改进建议。
标价估算与单一供应商的限制
文中成本均为按标价估算的推理成本。测试仅覆盖开放模型,由 Baseten 一家供应商提供服务;作者明确指出,闭源模型可能得到不同结果,其他供应商的价格和缓存机制也可能改变成本排名,因此这些结果的适用范围受到限制。
原始标题:Introducing FrontierHarness Eval v1.1
来源:runta.com