Skip to content
Hot eventLive

LLM生成回归测试的风险研究

1 reports1 sources3 hr ago updated

Get the story

AI overview

2026年10月9日，arXiv软件工程方向发布一项一手研究，题为《LLM生成回归测试的风险研究》。研究针对SciPy、Qiskit和pandas三个开源项目的145个已合并pull request，应用LLM生成回归测试并评估其效果。结果显示，8%至17%的生成测试属于固化错误行为的fault-enforcing测试，即把既有错误行为当作预期结果加以锁定；仅有2.4%至4.8%的生成测试能够真正揭示缺陷。研究提示LLM自动生成回归测试存在把错误行为合法化的风险。

Generated from reports · updated 3 hr ago

LatestOct 9
arXiv新研究：145个已合并PR中8%-17%生成测试固化错误行为，仅2.4%-4.8%能揭示缺陷。

Timeline

Follow the coverage from different angles.

Oct 9, 2026
  1. arXiv · Software Engineering
    LLM 生成回归测试的风险研究

    研究对 SciPy、Qiskit 和 pandas 的 145 个已合并 pull request 应用 LLM 回归测试生成，发现 8%-17% 的生成测试属于固化错误行为的 fault-enforcing 测试，仅 2.4%-4.8% 能揭示缺陷。

Heat trend

Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –

02.557.510Oct9Oct9Oct9Oct9

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.