arXiv · Software Engineering· Bhanu Prakash Vangala, Tanu Malik·2026-10-02 12:00· 3 小时前AI 评分40

Code That Works, Environments That Don't: Measuring Environment Reproducibility in AI-Generated Software

AI 导读

研究提出三层依赖框架（声明、运行时安装、必要充分依赖）评估编码智能体的环境规范能力。在 50 个编程任务、4 种语言、3 个智能体上测试，相同任务的依赖集合一致性低至 7%，新智能体无明显改善。环境先验是声明层与运行时层差异的主要来源，函数正确性测试无法检测此类问题。