Skip to content
Hot eventLive

TestSuiteBench：编码智能体难从规格生成强测试套件

1 reports1 sources3 hr ago updated

Get the story

AI overview

2026年10月12日，arXiv 软件工程方向发布一手研究 TestSuiteBench，评估编码智能体从规格说明生成测试套件的能力。基准包含165个开源应用，各带结构化规格说明、参考实现、参考测试套件及平均74个突变体，其中73%仅被一个参考测试杀死。前沿编码智能体突变分数低于60%，尽管其测试套件基本有效，88%的测试在参考实现上通过；同一规格生成的实现则通过82%的参考测试。结果显示智能体能构建软件却难以验证，制约全自主软件开发。

Generated from reports · updated 3 hr ago

LatestOct 12
2026-10-12研究发布：前沿编码智能体突变分数低于60%，难从规格生成强测试套件。

Timeline

Follow the coverage from different angles.

Oct 12, 2026
  1. arXiv · Software Engineering
    TestSuiteBench：编码智能体难以从规格说明生成强测试套件

    TestSuiteBench 包含 165 个开源应用，各带结构化规格说明、参考实现、参考测试套件及平均 74 个突变体，其中 73% 仅被一个参考测试杀死。前沿编码智能体的突变分数低于 60%，尽管其测试套件基本有效且 88% 的测试在参考实现上通过；同一规格生成的实现则通过 82% 的参考测试。结果显示智能体能构建软件却难以验证，制约全自主软件开发。

Heat trend

There is not enough continuous observation data to draw a trend yet.