arXiv · Software Engineering· Pei Yang, Tianyu Shi, Yuhang Yao, Wanyi Chen, Tongyun Yang, Dun Pei, Haonan Wang, Pengbin Feng, Guanxu Yu, Jingchun Huang, Zeyu Zhang, Shuhan Sun, Hao Li, Xiang Li, Jie Xiao, Xinyu Wang, Hanxin Chen, Daqi Li, Qi Jia, Hongshan Lin, Zhizhou Gu, Zijun Tian, Weizhi Du, Lynn Ai, Eric Yang·· 2 小时前精选AI 评分62
Zero2Repo：编码智能体能否从零构建仓库？
Zero2Repo: Can Coding Agents Build Repositories from Scratch?
AI 导读
Zero2Repo 是一个从零构建仓库的基准，智能体接收需求文档与接口契约并在空工作区交付完整仓库。任务由语言无关管线从真实开源项目生成，并以隐藏测试的执行通过与否作为唯一评判标准。当前版本覆盖 Python、TypeScript、Go 和 C++，最强智能体在 11 个任务中仅解决 10 个，且失败提交中 90-99% 的隐藏测试通过，67-100% 的失败可归因于规范中的单一遗漏或低频规则。
推荐理由
给出了从零构建仓库的基准与评测方法，读者可据此评估现有编码智能体在真实工程任务上的完成度与薄弱环节。
来源：arXiv · Software Engineering · arxiv.org