跳到正文
热点事件持续更新

TestJack：通过评估器演化审计智能体编码基准

1 篇报道1 个报道来源2 小时前 更新

先了解这件事

AI 综述

TestJack 是一个在固定单元测试之外评估补丁的框架，针对每条试验生成可能违反提示需求的测试，仅保留真实补丁通过的测试并复检失败。其轻量版本会深度审计随机抽样试验并复用测试。该框架在 6 个前沿模型和 DeepSWE、SWE Marathon 等 5 个基准上进行评估，发现约 34.4% 被判正确的试验违反任务需求，解决率由 50.6% 降至 33.2%。

AI 根据报道生成 · 2 小时前更新

最新进展10月9日 12:00
arXiv 发布 TestJack 论文：在 6 模型 5 基准上发现约 34.4% 判正试验违反需求，解决率由 50.6% 降至 33.2%。

报道时间线

沿着报道，了解事件的不同侧面。

10月9日
  1. arXiv · Software Engineering
    TestJack：通过评估器演化审计智能体编码基准结果

    TestJack 是一个在固定单元测试之外评估补丁的框架，针对每条试验生成可能违反提示需求的测试，仅保留真实补丁通过的测试并复检失败。轻量版本会深度审计随机抽样试验并复用测试，在 6 个前沿模型和 DeepSWE、SWE Marathon 等 5 个基准上发现约 34.4% 被判正确的试验违反任务需求，解决率由 50.6% 降至 33.2%。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。