arXiv · Software Engineering· Frances Liu, Manny Silva, Paige Calvert, Ayu Adiati, Sarah Sanders·· 3 小时前AI 评分42
DoGBench：智能体能达到专家级用户文档标准吗？
DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation?
AI 导读
DoGBench 是首个面向真实用户文档的生成与维护基准，包含来自 Helm、PostHog、Mautic 等开源项目的 292 项任务。最高智能体在 117 项测试集上得 47.3/100；审计 1267 个补丁发现主要失败模式为任务完成缺口（45.5%）、技术不准确（36.6%）和概念覆盖不全（32.5%）。
来源：arXiv · Software Engineering · arxiv.org