三分类如何区分反证与证据不足:围绕记录完整性的对照设计

murillodutt与nootxlm讨论如何通过记录覆盖范围、措辞干扰和独立标注,检验“否”与“未知”的边界;这些方案尚未报告验证结果。

Share

社区观察 · Hugging Face · 原文日期 2026-11-13

先明确“未知”的业务含义

murillodutt提出的分类任务,是判断工作是否已被纳入当前有效的监督周期。“是”要求证据充分支持,“否”要求证据充分反驳;缺失、含糊或冲突的证据若可能改变答案,则属于“未知”。按其定义,“未知”是有效业务答案,不是拒答或置信度阈值,也不会触发监督。是否需要监督、审批是否待决,是另外的问题。

只改变记录覆盖范围

nootxlm建议把同一任务配成对照:两份记录都没有提及接纳状态,只改变完整性。若权威记录的范围和覆盖时段均已封闭,缺席应判为“否”;若缺少章节或时段仍开放,同样的缺席应判为“未知”。他还建议双向设置干扰:让非权威来源明确说“未绑定”,同时让完整记录不出现这类措辞,并改写、移动完整性线索。

独立盲标并记录判断理由

在标注控制上,nootxlm提出由两名标注者独立判断,且不看模型输出;每次必须指出正面证据、完整记录中的缺席,或足以改变答案的具体缺口。他建议单独检查这些配对上的一致性,用标注者、模型与参考标签的不同变化模式,排查模型混淆、定义含糊及标签依据不足。这是其诊断建议,并非已完成的验证。

完整性须有覆盖保证

murillodutt接受对照方向,但要求明确闭世界前提:权威记录必须穷尽相关任务与当前时段,仅声称“完整”并不足够。他另建议加入删除无关或冗余信息后标签不变的控制,将变体打乱、分别标注后再看配对。他也收紧诊断结论:标注分歧可能来自错误推断,模型失败可能有多种解释,观察模式不能唯一确定原因。讨论未报告新测试或参考标签修改,仍在寻求公开验证协议。

原始标题:Contrast sets for distinguishing refuted claims from insufficient evidence in three-way classification
来源:Hugging Face