Werkbank 讨论:固定任务如何区分能力与熟悉度

Schampuswerner 介绍了包含 40 项合成任务的本地模型测试项目;nootxlm 建议增加重采样对照,作者则指出任务难度校准的限制。

Share

社区观察 · Hugging Face · 原文日期 2026-11-16

40 项任务检查最终状态

Schampuswerner 介绍,Werkbank 包含 40 项固定合成任务,重点是用确定性检查核验最终状态、代码或答案,并记录每项已解决任务的时间与词元成本。作者称任务整体偏难,尤其是 Full 集合;结果试图描述包含运行环境和量化方式的整套配置。帖子没有提供具体成绩,这些仍是作者对项目设计的说明。

重采样对照如何检验熟悉度

nootxlm 建议为每题生成同模板、不同数值和初始状态的重采样版本,再报告原题得分与变体得分的差距。他认为,这有助于区分能力提升与对固定实例的熟悉。Schampuswerner 接受这一方向,但补充两组任务须先确认难度相当,否则差距可能来自题目本身。这里讨论的是评估方案,帖子没有提供对照实验结果。

检测标记的边界与后续范围

Schampuswerner 称,任务带有用于检测训练混入的金丝雀字符串,但这种标记不能说明某套配置是否针对这 40 个实例调过参。对于实施成本,作者认为数学和数据任务较易重采样,智能体、检索及安全任务则依赖人工设计细节。他表示会在后续版本研究这一建议,先从容易重采样的类别开始,并未承诺完整覆盖。

原始标题:Werkbank: 40 tasks for testing local LLMs with tools
来源:Hugging Face