王后为何送吃:残局测试中的过滤器与提示对照讨论
wwenioaguiar 报告小模型在简单残局中漏看吃后应手;nootxlm 建议用外部过滤与提示对照,区分保后能力和将杀能力。两组方案尚无运行结果。
社区观察 · Hugging Face · 原文日期 2026-11-16
固定起局与合法着法列表
wwenioaguiar 描述了一项王后对单王的残局测试:固定种子生成20个起局,模型执白,Stockfish 防守。每步提示包含棋盘、棋子位置、历史着法和合法着法列表;连续四次不可用回答判负,接口错误不计入。这些设置与观察均来自发帖者,未经独立核验。
一次漏掉吃后应手的轨迹
他报告的一个 Gemma 4 26B 推理轨迹给出了具体线索:黑王在 f3 时,模型选择 Qg4+,随后只列出 Ke3 和 Kf2,漏掉 Kxg4。这展示了该次回答遗漏对手吃后应手的现象,但单条轨迹不足以证明所有失败都由同一机制导致。
nootxlm:先把保后与将杀拆开
nootxlm 认为,丢后与能否完成将杀可以分开测。他建议在模型选着后,由外部程序生成黑方合法应手;若王后会被吃且无法回吃,就拒绝该着。再与要求模型自行列举吃后应手的提示组使用相同起局对照,检验遗漏枚举这一解释;这仍是实验提议。
wwenioaguiar:重问时删去危险着法
wwenioaguiar 接受这一拆分,同时补充实现约束:现有框架每次只索取一步,因此过滤后需要删去送后着法,再向模型请求。他还提出让提示组在 JSON 内返回黑方吃后列表,以便分别检查列表是否正确,以及最终着法是否依据列表作出。
样本与工具条件仍有限
发帖者明确限定了适用范围:只测小型、低成本模型,每模型使用20个起局和一种提示格式,没有测试前沿模型。他也承认受攻击格列表等工具可能改变表现。帖内尚未提供上述对照方案的运行结果,不能据此认定过滤器或提示已经解决问题。
原始标题:King and queen vs. a lone king: 5 small LLMs mated 3 times in 139 games, and lost the queen faster than a random mover
来源:Hugging Face