Tree-Ising:用稀疏权重编辑修复语言模型的重复循环

研究将循环生成问题转为离散优化,通过前向统计选择权重改动;小模型实验沿用既有修复线索,量子验证仅涉及八变量子问题。

Share
Tree-Ising:用稀疏权重编辑修复语言模型的重复循环
原文配图 · 图片出处

论文阅读笔记 · arxiv.org · 原文日期 2026-11-10

用前向统计定义修复目标

Tree-Ising尝试直接编辑权重,修复语言模型反复生成相同文本的问题。作者用前向统计定义循环方向与收尾方向,将削弱循环、加强收尾、保留有效词元上的层输出共同写入目标函数,把修复转为稀疏离散优化问题。

限定改动,再按输出行求解

方法在无损BF16状态树中限定可用改动,保留每组共享指数与尾数。每个候选权重预先选定一种改动后,是否执行成为二元决策;在统计量固定的条件下,目标可精确拆为逐输出行的二次无约束二元优化问题,再由GPU模拟退火或模拟分岔求解。

0.8B实验沿用既有修复线索

0.8B实验的成本比较有明确边界:方案是在分析智能体公开日志后设计的,沿用其选定的两个层,并根据原有编辑校准修改强度。因此,论文比较的是智能体寻找修复的完整过程与固定方案的一次应用,不能将成本差直接解释为同等探索任务的效率差。

2B迁移实验不使用参考编辑

在Qwen3.5-2B上,作者报告仅依据基础模型选择层和校准修改强度,无需参考编辑。在GSM8K测试中,采用贪心解码、以答对题目的比例计算准确率,结果由21.6%升至69.4%。这项迁移实验与0.8B实验沿用智能体设置的条件不同。

量子验证仅覆盖八变量子问题

论文还在IBM Heron处理器上,对八变量修复子问题进行了QAOA概念验证。实验来自单次作业,每个电路采样1024次;所报最优解命中率是样本匹配该子问题唯一精确最优解的比例,并非完整模型的修复准确率。

原始标题:Tree-Ising: Repairing Language Models with Bit-Level Ising Edits
来源:arxiv.org