arXiv · Software Engineering· Yibei Guo, Rui Liu·· 3 小时前AI 评分26
输入盲控制在选择题评测中为层程序带来显著 oracle 余量
Input-Blind Controls Produce Substantial Oracle Headroom for Layer Programs in Multiple-Choice Evaluation
AI 导读
研究用 32 个层跳过与重复程序，在 Qwen3-4B-Base 和 Llama-3.1-8B 上对 4,413 道选择题评测 oracle 余量。输入盲扰动在共享选项顺序下给出 10.2-11.8 和 15.6-19.4 个百分点余量，超过真实程序的 9.0 和 10.1；旋转选项后两者余量均下降，真实减控制差为 1.4-2.3 和 3.7-4.5 点。
来源：arXiv · Software Engineering · arxiv.org