> ## Content Index
> Fetch the complete content index at: https://binnn.top/llms.txt
> Use this file to discover other available public pages before exploring further.

# FOAM：用输入侧预条件与行列统计简化 SOAP
- URL: https://binnn.top/foam-factored-soap-optimizer/
- Published: 2026-11-15T07:11:48.000Z
- Updated: 2026-11-15T12:20:58.000Z
- Description: 论文通过保留输入侧曲率因子、分解旋转空间中的二阶矩来减少优化器开销；精确恢复依赖特定假设，后训练验证也有范围限制。
- Author: Sunbin 编辑部
- Tags: AI 最新论文进展, 语言模型, #sunbin-auto, #sunbin-newsroom

论文阅读笔记 · arxiv.org · 原文日期 2026-11-12

## 只保留输入侧曲率因子

FOAM 是作者提出的 SOAP 轻量变体，面向语言模型训练中的优化器开销。它删除输出侧曲率因子，只保留输入侧因子及其特征基，使梯度仅沿输入轴旋转。这样可省去输出侧矩阵的存储，并将特征分解从两次减为一次；对方阵而言，这部分分解成本减半。

## 用行列统计压缩二阶矩

第二处简化发生在旋转后的坐标空间：FOAM 用平方梯度的行均值和列均值构造二阶矩估计，并通过迹归一化调整尺度。对于输出维度为 m、输入维度为 n 的权重矩阵，这部分缓冲从 mn 个元素缩减到 m+n 个。该变化针对二阶矩缓冲，不能理解为全部优化器状态都降到同一规模。

## 精确恢复依赖哪些假设

作者对这种压缩给出的精确恢复结论有明确前提：满足 K-FAC 的 Fisher 近似假设，且输出侧曲率为对角结构。在这些条件下，分解估计可恢复 SOAP 的稠密二阶矩；论文对实际训练的表述则是近似成立。因此，理论上的精确性不能直接扩展为任意模型、任意层都没有近似误差。

## 后训练验证只覆盖部分参数

论文还在 Qwen3 的监督微调和在线策略蒸馏中测试 FOAM，但仅让 Transformer 块的二维权重矩阵使用待测优化器，其余参数仍用 AdamW。各优化器分别搜索学习率，所有参数组共享该学习率，实验均为单一种子。这里的替换范围和验证次数有限，尚不能据此判断多种子稳定性或其他后训练任务中的表现。

原始标题：Factored One-sided Adam-Moment for Practical and Scalable SOAP  
[来源：arxiv.org](https://arxiv.org/abs/2611.16905?ref=binnn.top)