arXiv · Computation and Language· Yuanhe Zhang, Xinyao Zhou, Haoran Gao, Yuyao Zhang, Zhenhong Zhou, Fanyu Meng, Li Sun, Sen Su·· 3 小时前AI 评分28
通过残差流动力学揭示大语言模型与视觉语言模型中的失控重复现象
Uncovering Uncontrolled Repetition through Residual Stream Dynamics
AI 导读
论文提出 Tokenwise Residual Comparison（TRC）方法，通过比较生成 token 间的注意力与 MLP 写入残差流的模式来定位重复异常，并在识别层选择性抑制残差流坐标。实验显示 TRC 平均将循环率降低 57%，可迁移至 LLM 和 LRM，有效缓解资源消耗攻击。分析表明重复语义在浅层出现并沿残差流传播，干扰正常表示。
来源：arXiv · Computation and Language · arxiv.org