LoLBench：基于长周期提案评估大型软件系统编码智能体

LoLBench 是一个用于评估大型软件系统编程智能体的多语言基准，包含 100 个任务，覆盖 29 个软件系统与 5 个领域。每个任务提供约 5,000 词的人工撰写提案，系统平均含 240 万行代码，实现 PR 平均修改约 5,500 行代码。该基准旨在通过长周期提案更真实地衡量编码智能体在复杂软件系统中的表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。