arXiv · Machine Learning Theory· Hashmath Shaik, Gnaneswar Villuri, Alex Doboli·· 4 hr agoAI score37
能否从残差流激活预测 LLM 评审的位置翻转？
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
AI brief
研究提出在 LLM 评审给出初始结论前，用残差流激活预测候选顺序变化是否会导致结论翻转，避免对每对样本双向评审。研究在 534 对 JudgeBench 样本上对三个 Qwen3 评审和 Llama-3.1-8B 做嵌套分组交叉验证，正则化线性探针 AUROC 为 .621-.850，比结合口头置信度、判定标签 logits、响应长度与初始选择的基线高 .062-.113。
Source: arXiv · Machine Learning Theory · arxiv.org