Skip to content
Hot eventLive

LLM在软件工程系统综述筛选中的性能是否停滞

1 reports1 sources3 hr ago updated

Get the story

AI overview

围绕 LLM 在软件工程系统综述筛选中的性能是否停滞,研究者构建了筛选基准 SESR-Eval 及低成本子集 SESR-Eval-Mini。2026-10-09 的 arXiv 研究(一手)基于该基准评估了 8 款新 LLM 的筛选表现,并与 7 款旧模型对比:二次研究的平均 MCC 仅从 0.347 升至 0.365,提升幅度很小;同时模型之间的差异仍小于研究之间的差异。该结果表明,在这一任务上模型代际带来的改进有限,任务本身(研究间差异)对筛选表现的影响更为突出。

Generated from reports · updated 3 hr ago

Timeline

Follow the coverage from different angles.

Oct 9, 2026
  1. arXiv · Software Engineering
    LLM 在软件工程系统综述中的筛选性能是否停滞?

    基于软件工程系统综述筛选基准 SESR-Eval 及低成本子集 SESR-Eval-Mini,研究评估了 8 款新 LLM 的筛选表现,并与 7 款旧模型对比:二次研究的平均 MCC 仅从 0.347 升至 0.365,模型间差异仍小于研究间差异。

Heat trend

Current heat 9·Comparable peak 10(Oct 9)·Comparable change over 24 hours –

02.557.510Oct9Oct9Oct9Oct9

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.