跳到正文
热点事件持续更新

LLM在软件工程系统综述筛选中的性能是否停滞

1 篇报道1 个报道来源2 小时前 更新

先了解这件事

AI 综述

围绕 LLM 在软件工程系统综述筛选中的性能是否停滞,研究者构建了筛选基准 SESR-Eval 及低成本子集 SESR-Eval-Mini。2026-10-09 的 arXiv 研究(一手)基于该基准评估了 8 款新 LLM 的筛选表现,并与 7 款旧模型对比:二次研究的平均 MCC 仅从 0.347 升至 0.365,提升幅度很小;同时模型之间的差异仍小于研究之间的差异。该结果表明,在这一任务上模型代际带来的改进有限,任务本身(研究间差异)对筛选表现的影响更为突出。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv · Software Engineering
    LLM 在软件工程系统综述中的筛选性能是否停滞?

    基于软件工程系统综述筛选基准 SESR-Eval 及低成本子集 SESR-Eval-Mini,研究评估了 8 款新 LLM 的筛选表现,并与 7 款旧模型对比:二次研究的平均 MCC 仅从 0.347 升至 0.365,模型间差异仍小于研究间差异。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。