SWE-Bench Pro Verified：面向软件工程 AI 智能体的可靠评测基准

研究者推出 SWE-Bench Pro Verified，修正原版 SWE-Bench Pro 的评测不可靠问题。原基准因金标解法或隐藏评测信息泄露导致 reward hacking，以及问题陈述误导、测试范围不当等任务质量问题，可能虚高评分。新版本通过防泄露保护与最小化任务修正消除主要泄露渠道；评测显示部分模型表现明显低于此前结果，SWE-Bench Pro 可能高估真实软件工程能力。