Skip to content
Hot eventLive

TestJack：通过评估器演化审计智能体编码基准

1 reports1 sources3 hr ago updated

Get the story

AI overview

TestJack 是一个在固定单元测试之外评估补丁的框架，针对每条试验生成可能违反提示需求的测试，仅保留真实补丁通过的测试并复检失败。其轻量版本会深度审计随机抽样试验并复用测试。该框架在 6 个前沿模型和 DeepSWE、SWE Marathon 等 5 个基准上进行评估，发现约 34.4% 被判正确的试验违反任务需求，解决率由 50.6% 降至 33.2%。

Generated from reports · updated 3 hr ago

LatestOct 9
arXiv 发布 TestJack 论文：在 6 模型 5 基准上发现约 34.4% 判正试验违反需求，解决率由 50.6% 降至 33.2%。

Timeline

Follow the coverage from different angles.

Oct 9, 2026
  1. arXiv · Software Engineering
    TestJack：通过评估器演化审计智能体编码基准结果

    TestJack 是一个在固定单元测试之外评估补丁的框架，针对每条试验生成可能违反提示需求的测试，仅保留真实补丁通过的测试并复检失败。轻量版本会深度审计随机抽样试验并复用测试，在 6 个前沿模型和 DeepSWE、SWE Marathon 等 5 个基准上发现约 34.4% 被判正确的试验违反任务需求，解决率由 50.6% 降至 33.2%。

Heat trend

Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –

02.557.510Oct9Oct9Oct9Oct9

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.