arXiv · Artificial Intelligence· Pratyay Dutta, Kowshik Thopalli, Vivek Narayanaswamy·· 4 hr agoAI score52
COMPASS:在语言模型中定位推理所在位置
COMPASS: Finding Where Reasoning Lives in Language Models
AI brief
论文提出 COMPASS,一种推理时引导方法,用模型自身直接答案的正确性作为信号来引出推理。该方法通过 logit-space 归因分数识别可干预的注意力头,并沿正确性方向引导其激活,在三个模型族和多个数学基准上优于对比的激活引导基线,GSM8K 准确率平均提升 16 个百分点,并以少 20-70% 的生成 token 接近 CoT 准确率。
Source: arXiv · Artificial Intelligence · arxiv.org