arXiv · Computation and Language· Jinhyeok Kim, Hye-Young Jung·· 3 小时前AI 评分25
罚金式无正确选项 MCQA:分析 LLM 在选项全部无效时的弃权行为
Penalty-Framed No-Valid-Option MCQA: Analyzing LLM Abstention under Invalid Choices
AI 导读
研究者提出罚金式无正确选项 MCQA 设定,在 MMLU-Pro 数学子集中移除标注的正确选项,允许模型选择剩余选项或输出 ABSTAIN,并对被迫作答的无效响应施加惩罚。研究进一步引入正确条件分析,仅在模型原本答对的样本上评估弃权表现。结果显示,高 MCQA 准确率并不能保证弃权可靠性,即使在明确提示无正确选项并采用罚金评分时,模型仍会对部分原本答对的样本给出无效强制选择。
来源:arXiv · Computation and Language · arxiv.org