FOAM:用输入侧预条件与行列统计简化 SOAP

论文通过保留输入侧曲率因子、分解旋转空间中的二阶矩来减少优化器开销;精确恢复依赖特定假设,后训练验证也有范围限制。

Share
FOAM:用输入侧预条件与行列统计简化 SOAP
原文配图 · 图片出处

论文阅读笔记 · arxiv.org · 原文日期 2026-11-12

只保留输入侧曲率因子

FOAM 是作者提出的 SOAP 轻量变体,面向语言模型训练中的优化器开销。它删除输出侧曲率因子,只保留输入侧因子及其特征基,使梯度仅沿输入轴旋转。这样可省去输出侧矩阵的存储,并将特征分解从两次减为一次;对方阵而言,这部分分解成本减半。

用行列统计压缩二阶矩

第二处简化发生在旋转后的坐标空间:FOAM 用平方梯度的行均值和列均值构造二阶矩估计,并通过迹归一化调整尺度。对于输出维度为 m、输入维度为 n 的权重矩阵,这部分缓冲从 mn 个元素缩减到 m+n 个。该变化针对二阶矩缓冲,不能理解为全部优化器状态都降到同一规模。

精确恢复依赖哪些假设

作者对这种压缩给出的精确恢复结论有明确前提:满足 K-FAC 的 Fisher 近似假设,且输出侧曲率为对角结构。在这些条件下,分解估计可恢复 SOAP 的稠密二阶矩;论文对实际训练的表述则是近似成立。因此,理论上的精确性不能直接扩展为任意模型、任意层都没有近似误差。

后训练验证只覆盖部分参数

论文还在 Qwen3 的监督微调和在线策略蒸馏中测试 FOAM,但仅让 Transformer 块的二维权重矩阵使用待测优化器,其余参数仍用 AdamW。各优化器分别搜索学习率,所有参数组共享该学习率,实验均为单一种子。这里的替换范围和验证次数有限,尚不能据此判断多种子稳定性或其他后训练任务中的表现。

原始标题:Factored One-sided Adam-Moment for Practical and Scalable SOAP
来源:arxiv.org