TestSuiteBench：编码智能体难以从规格说明生成强测试套件

TestSuiteBench 包含 165 个开源应用，各带结构化规格说明、参考实现、参考测试套件及平均 74 个突变体，其中 73% 仅被一个参考测试杀死。前沿编码智能体的突变分数低于 60%，尽管其测试套件基本有效且 88% 的测试在参考实现上通过；同一规格生成的实现则通过 82% 的参考测试。结果显示智能体能构建软件却难以验证，制约全自主软件开发。