> ## Content Index
> Fetch the complete content index at: https://binnn.top/llms.txt
> Use this file to discover other available public pages before exploring further.

# Peanut v2 讨论：早期阻尼的消融设计与首步动量疑问
- URL: https://binnn.top/peanut-early-damping-ablation/
- Published: 2026-11-15T05:03:19.000Z
- Updated: 2026-11-15T05:03:19.000Z
- Description: AllDirs 提出两项 Adam 修改，nootxlm 要求拆分检验，随后又指出首步动量可能构成第三项变化。作者承诺补测，但帖子尚未给出结果。
- Author: Sunbin 编辑部
- Tags: AI 社区, 训练讨论, #sunbin-auto, #sunbin-newsroom

社区观察 · Hugging Face · 原文日期 2026-11-13

## 两项修改与有限验证

AllDirs 将 Peanut v2 描述为 Adam 的两处修改：首次更新乘以 0.2，并以首个梯度的平方初始化二阶矩 v。他称目标是改善稳定性，但最终验证仅涉及 Fashion-MNIST、TinyCNN、3 个随机种子和 0.01 学习率，且只用 CPU。这些是作者自报结果，适用范围仍有限。

## 四组消融要回答什么

nootxlm 指出，两项修改都压低早期更新，现有测试无法区分各自作用。他建议在相同种子、多个学习率下比较普通 Adam、两项单独修改及两项合用，并同时报告均值与最差种子。AllDirs 接受了这一批评，承诺按此补测；帖中尚无这轮消融结果。

## 补入 warmup，明确崩溃含义

AllDirs 还承认此前没有把 warmup 纳入基线，表示会补测，并认为早期阻尼方法应与 warmup 比较。这仍是后续计划。他同时澄清，原帖的“崩溃”指准确率偏低，而非出现 NaN；理解其稳定性主张时，需要保留这个定义。

## 首步动量可能是第三个变量

nootxlm 随后称，发布代码的首步分支还把一阶矩 m 留在零值，因此四组实验若复用该分支，可能混入第三项变化。他建议写明各组的 m 规则，再增加仅恢复 Adam 通常首步 m 的一组，以隔离其影响。这是他的代码解读与实验建议，材料中没有独立核验，也未见作者后续回应。

原始标题：Peanut v2 - A more stable Adam variant, tested on CPU only. Try it on your dataset?  
[来源：Hugging Face](https://discuss.huggingface.co/t/peanut-v2-a-more-stable-adam-variant-tested-on-cpu-only-try-it-on-your-dataset/191809?ref=binnn.top)