arXiv · Software Engineering· Yun Peng, Zihan Wu, Zeyang Zhuang, Xin Zhou, Rui Shu, Xu Han, Chun Yong Chong, Yuan Wang, Jiakun Liu·· 7 小时前AI 评分36
LoLBench：基于长周期提案评估大型软件系统中的编程智能体
LoLBench: Evaluating Coding Agents with Long-Horizon Proposals on Large Software Systems
AI 导读
LoLBench 是一个包含 100 个任务的多语言基准，覆盖 29 个软件系统与 5 个领域，每个任务提供约 5,000 词的人工撰写提案，系统平均含 240 万行代码，实现 PR 平均修改约 5,500 行代码。
来源：arXiv · Software Engineering · arxiv.org