热点事件持续更新
SWE-Bench Pro Verified：更可靠的软件工程Agent基准
1 篇报道1 个报道来源2 小时前 更新
先了解这件事
AI 综述
研究者推出 SWE-Bench Pro Verified，用于修正原版 SWE-Bench Pro 的评测不可靠问题。原基准存在金标解法或隐藏评测信息泄露导致的 reward hacking，以及问题陈述误导、测试范围不当等任务质量问题，可能使评分虚高。新版本通过防泄露保护与最小化任务修正，消除主要泄露渠道。评测显示部分模型表现明显低于此前结果，表明 SWE-Bench Pro 可能高估了真实软件工程能力。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 12:00
SWE-Bench Pro Verified 发布，修正泄露与任务质量问题，部分模型得分显著低于此前结果。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv · Software EngineeringSWE-Bench Pro Verified：面向软件工程 AI 智能体的可靠评测基准
研究者推出 SWE-Bench Pro Verified，修正原版 SWE-Bench Pro 的评测不可靠问题。原基准因金标解法或隐藏评测信息泄露导致 reward hacking，以及问题陈述误导、测试范围不当等任务质量问题，可能虚高评分。新版本通过防泄露保护与最小化任务修正消除主要泄露渠道；评测显示部分模型表现明显低于此前结果，SWE-Bench Pro 可能高估真实软件工程能力。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。