> ## Content Index
> Fetch the complete content index at: https://binnn.top/llms.txt
> Use this file to discover other available public pages before exploring further.

# Tree-Ising：用稀疏权重编辑修复语言模型的重复循环
- URL: https://binnn.top/tree-ising-weight-repair/
- Published: 2026-11-11T14:14:34.000Z
- Updated: 2026-11-11T19:26:35.000Z
- Description: 研究将循环生成问题转为离散优化，通过前向统计选择权重改动；小模型实验沿用既有修复线索，量子验证仅涉及八变量子问题。
- Author: Sunbin 编辑部
- Tags: AI 最新论文进展, 语言模型, #sunbin-auto, #sunbin-newsroom

论文阅读笔记 · arxiv.org · 原文日期 2026-11-10

## 用前向统计定义修复目标

Tree-Ising尝试直接编辑权重，修复语言模型反复生成相同文本的问题。作者用前向统计定义循环方向与收尾方向，将削弱循环、加强收尾、保留有效词元上的层输出共同写入目标函数，把修复转为稀疏离散优化问题。

## 限定改动，再按输出行求解

方法在无损BF16状态树中限定可用改动，保留每组共享指数与尾数。每个候选权重预先选定一种改动后，是否执行成为二元决策；在统计量固定的条件下，目标可精确拆为逐输出行的二次无约束二元优化问题，再由GPU模拟退火或模拟分岔求解。

## 0.8B实验沿用既有修复线索

0.8B实验的成本比较有明确边界：方案是在分析智能体公开日志后设计的，沿用其选定的两个层，并根据原有编辑校准修改强度。因此，论文比较的是智能体寻找修复的完整过程与固定方案的一次应用，不能将成本差直接解释为同等探索任务的效率差。

## 2B迁移实验不使用参考编辑

在Qwen3.5-2B上，作者报告仅依据基础模型选择层和校准修改强度，无需参考编辑。在GSM8K测试中，采用贪心解码、以答对题目的比例计算准确率，结果由21.6%升至69.4%。这项迁移实验与0.8B实验沿用智能体设置的条件不同。

## 量子验证仅覆盖八变量子问题

论文还在IBM Heron处理器上，对八变量修复子问题进行了QAOA概念验证。实验来自单次作业，每个电路采样1024次；所报最优解命中率是样本匹配该子问题唯一精确最优解的比例，并非完整模型的修复准确率。

原始标题：Tree-Ising: Repairing Language Models with Bit-Level Ising Edits  
[来源：arxiv.org](https://arxiv.org/abs/2611.14210?ref=binnn.top)