Peanut v2 讨论:早期阻尼的消融设计与首步动量疑问
AllDirs 提出两项 Adam 修改,nootxlm 要求拆分检验,随后又指出首步动量可能构成第三项变化。作者承诺补测,但帖子尚未给出结果。
社区观察 · Hugging Face · 原文日期 2026-11-13
两项修改与有限验证
AllDirs 将 Peanut v2 描述为 Adam 的两处修改:首次更新乘以 0.2,并以首个梯度的平方初始化二阶矩 v。他称目标是改善稳定性,但最终验证仅涉及 Fashion-MNIST、TinyCNN、3 个随机种子和 0.01 学习率,且只用 CPU。这些是作者自报结果,适用范围仍有限。
四组消融要回答什么
nootxlm 指出,两项修改都压低早期更新,现有测试无法区分各自作用。他建议在相同种子、多个学习率下比较普通 Adam、两项单独修改及两项合用,并同时报告均值与最差种子。AllDirs 接受了这一批评,承诺按此补测;帖中尚无这轮消融结果。
补入 warmup,明确崩溃含义
AllDirs 还承认此前没有把 warmup 纳入基线,表示会补测,并认为早期阻尼方法应与 warmup 比较。这仍是后续计划。他同时澄清,原帖的“崩溃”指准确率偏低,而非出现 NaN;理解其稳定性主张时,需要保留这个定义。
首步动量可能是第三个变量
nootxlm 随后称,发布代码的首步分支还把一阶矩 m 留在零值,因此四组实验若复用该分支,可能混入第三项变化。他建议写明各组的 m 规则,再增加仅恢复 Adam 通常首步 m 的一组,以隔离其影响。这是他的代码解读与实验建议,材料中没有独立核验,也未见作者后续回应。
原始标题:Peanut v2 - A more stable Adam variant, tested on CPU only. Try it on your dataset?
来源:Hugging Face