Gemma JSON 讨论:排序正确,为何仍不能直接交给下一步

一次本地测试最初把类型不符记为排序错误。Brandonl2007 与 nootxlm 核对实际回复后,提出将原始解析、预期类型和内容正确性分开报告。

Share

社区观察 · Hugging Face · 原文日期 2026-11-16

六道固定答案任务的测试设置

Brandonl2007 报告,他用 Ollama 在 RTX 4090 上本地运行 gemma4:26b 与 qwen3.8:latest,测试六道有固定答案的任务,各用种子 42、43 重复一次。最初只在提示词中要求 JSON,没有启用模式约束,关注的是下游能否直接使用原始回复。这些属于发帖者的个人测试陈述,未经独立核验。

从排序失败改判为类型不符

nootxlm 起初把两个种子下重复出现的排序失分判断为内容错误;看到实际输出后,他修正了判断。Brandonl2007 随后确认:在仅靠提示词要求 JSON 的条件下,把逗号连接的字符串拆分并去掉空格,顺序得分为 2/2;若下游要求答案字段是字符串数组,类型得分则为 0/2。顺序正确与类型符合要求是两项不同指标。

模式约束修复了包装与答案类型

据 Brandonl2007 后续报告,配对测试沿用六道任务和两个种子,新增的模式要求字符串数组,但不提供正确顺序。以原始回复无需清理即可解析为 JSON 为指标,Gemma 从提示词条件下的 0/12 变为模式约束下的 12/12。核对排序回复后,他认为这次变化修复了代码围栏和答案类型,序列本身没有改变。

评分应写明下游要求与清理步骤

两人的讨论最终落到评分口径。nootxlm 建议单列类型指标:能拆分字符串的工作流,可能用得上原答案;直接接收数组的步骤则无法照收。Brandonl2007 接受将原始解析、预期字段类型和内容分开报告,并注明内容评分前做过哪些清理。这是两位参与者针对该次运行的建议,不能据此推断其他任务也会得到相同改善。

原始标题:Gemma got 10/12 answers right, but none of its raw replies parsed as JSON
来源:Hugging Face