TailSteer:把多轮图像编辑的保真修正放在去噪末段

论文提出一种末阶段训练方法,利用源图中应保持不变的内容构造监督,并约束早期去噪过程,尝试减少反复编辑带来的细节漂移。

Share
TailSteer:把多轮图像编辑的保真修正放在去噪末段
原文配图 · 图片出处

论文阅读笔记 · arxiv.org · 原文日期 2026-11-04

从去噪末段修正细节

TailSteer把多轮图像编辑的干预点放在去噪末段。作者的思路是,让早期去噪过程尽量接近基础模型,再在细节形成的后段集中修正非预期变化。这是一种训练方法,目标是在改善内容保留的同时,尽量保住模型已有的生成与编辑能力。

用两类编辑寻找保留区域

训练监督来自冻结基础模型生成的轨迹,分为恒等编辑和局部编辑:前者要求画面不变,提供整图保留监督;后者只修改局部,利用其余内容提供部分保留监督。研究者会检查输出是否符合恒等或局部修改条件,只留下具有可靠保留区域的轨迹。

保留模型已经选定的编辑结果

局部编辑的保留掩码根据源图与生成结果的差异构造,并非事先指定。目标端点把应保留区域恢复为源图内容,其余区域沿用基础模型已经生成的编辑结果。因此,监督关注的是修正附带变化,不要求每次生成都匹配同一张人工标准图。

让训练状态接近实际采样

TailSteer还使用训练中模型自身策略生成的去噪轨迹,减少训练状态与实际采样状态之间的差异。作者将早期过程约束在基础模型附近,再逐步把后期状态引向兼顾内容保留的端点,而不是把同一种修正强度施加到整个采样过程。

只训练最后一步的局限

论文指出,仅在最后一步施加监督存在局限:由于不同时刻共享参数,末步训练也可能扰动早期去噪行为;把全部修正挤在最后一次更新,还缺少渐进调整的空间。这解释了完整方案为何既要约束早期动态,又要将修正分散到末段多个步骤。

原始标题:TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing
来源:arxiv.org