跳到正文
原文
arXiv · Software Engineering· Pengyu Xue, He Yang Yuan, Xin Wang, Junkai Chen, Haonan Zhang, Boyuan Chen, Zishuo Ding, Zhenhao Li, Weiyi Shang·· 3 小时前AI 评分28

SWE-NFI:评测编码智能体的非功能性改进能力

SWE-NFI: Studying and Benchmarking Coding Agents for Non-Functional Improvements

AI 导读

SWE-NFI 是一个评测编码智能体在非功能性改进(NFI)上表现的基准,包含 188 个来自开源 Python 项目真实合并 PR 的任务,并将 5 类开发者导向的 NFI 方面落实为 92 条可执行规则。

来源:arXiv · Software Engineering · arxiv.org