研究LLM在无正确选项MCQA中的弃答可靠性

1. 12:00
   arXiv · Computation and Language

   罚金式无正确选项 MCQA：分析 LLM 在选项全部无效时的弃权行为

   研究者提出罚金式无正确选项 MCQA 设定，在 MMLU-Pro 数学子集中移除标注的正确选项，允许模型选择剩余选项或输出 ABSTAIN，并对被迫作答的无效响应施加惩罚。研究进一步引入正确条件分析，仅在模型原本答对的样本上评估弃权表现。结果显示，高 MCQA 准确率并不能保证弃权可靠性，即使在明确提示无正确选项并采用罚金评分时，模型仍会对部分原本答对的样本给出无效强制选择。

Current heat 9·Comparable peak 10（Oct 7）·Comparable change over 24 hours –

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.