> ## Content Index
> Fetch the complete content index at: https://binnn.top/llms.txt
> Use this file to discover other available public pages before exploring further.

# CurvDelta：在低曲率空间中学习与遗忘
- URL: https://binnn.top/curvdelta-low-curvature-adaptation/
- Published: 2026-11-19T14:34:38.000Z
- Updated: 2026-11-19T17:07:32.000Z
- Description: CurvDelta将能力保留约束写入模型增量的参数化，提供稠密与低秩两种形式；其保留保证依赖局部近似，也受更新幅度影响。
- Author: Sunbin 编辑部
- Tags: AI 最新论文进展, 语言模型, #sunbin-auto, #sunbin-newsroom

论文阅读笔记 · arxiv.org · 原文日期 2026-11-18

## 用保留集界定行为变化

CurvDelta把语言模型适配表述为一个带约束的优化问题：降低任务损失，同时限制保留损失。这里的保留损失衡量模型在指定保留集上的行为变化，因此，方法所约束的对象有具体的数据范围，而非笼统承诺所有能力不变。

## 用双侧投影构造更新空间

实现上，方法用分块对角的Kronecker因子近似曲率（K-FAC），使大模型的更新空间构造更易计算。随后分别对两个因子做谱截断，形成可分离的双侧投影。投影可用紧凑的特征向量基存储和应用，同一构造也支持稠密与低秩适配。

## 稠密增量与低秩增量

在固定的低曲率空间内，论文提供两种增量表示。CurvDelta采用稠密矩阵，能够覆盖整个保留空间；CurvLoRA采用低秩LoRA增量，以减少可训练参数。两者把参数化的选择与更新空间的构造分开，使用者可在同一保留几何下选择适配形式。

## 保留保证依赖近似与更新幅度

论文给出的保留保证有明确前提：它依赖局部二次近似与分块对角K-FAC模型。作者推导的上界同时受保留空间曲率和实际更新范数控制，低曲率本身并不足以保证任意幅度的更新都能保留能力。这是近似模型下的充分条件，不能直接理解为实际模型始终不会退化。

原始标题：CurvDelta: Low-Curvature Delta Modeling For Surgical Learning and Unlearning  
[来源：arxiv.org](https://arxiv.org/abs/2611.24654?ref=binnn.top)