SO-Arena:分开评估决策能力与选项可靠性
这项基准用来源核验、领域内难度分层和交互任务评估决策能力,再单独测试选项重排与正确答案缺失时的表现。
论文阅读笔记 · arxiv.org · 原文日期 2026-11-11
来源记录与标签审核
论文介绍的任务构建流程涉及四十个公开数据集、基准和环境,既转换原有任务,也派生新的完成核验任务。作者保留来源标签作为参考,经人工与语言模型审核后剔除存疑条目,并记录来源、版本及适用的原始标识,在元数据中标记模型生成的参考答案。
领域内分层与榜单计分
SO-Arena 包含二千九百一十九项任务,覆盖五类能力、十一个领域,其中九个领域设有相对本领域的难度层级。能力榜单对各领域等权,并侧重最难层级的任务。因此,解读总分时需要同时了解领域构成与取样层级,不能把它直接当作全部任务的普通正确率。
行动选择与执行历史核验
交互部分区分行动选择和完成核验:前者考查模型能否在网页与工具环境中通过连续决策达成目标,后者要求判断已有执行记录。作者特意纳入最终目标状态相同、但中间过程合规情况不同的案例,让评估能够检查模型是否考虑了执行历史中的要求。
选项重排与答案缺失测试
可靠性评估采用两种受控变化:重排选项,观察模型是否维持一致选择;移除正确选项,检查模型能否识别没有有效答案。作者把两项表现合成单独的可靠性分数,用来检查能力表现是否伴随可靠决策。这里的可靠性口径限于这两类选项变化,解读时应保留这一范围。
原始标题:SO-Arena Benchmarking the Capability Spectrum and Reliability of System One Models
来源:arxiv.org