arXiv · Software Engineering· Hanjun Luo, Xiucheng Zhang, Zhuoning Xu, Zhimu Huang, Yingbin Jin, Xinfeng Li, Hanan Salam·· 4 hr agoAI score40
ParanoiaEval:评测智能体编码中不必要的防御性工作
ParanoiaEval: Benchmarking Unnecessary Defensive Work in Agentic Coding
AI brief
研究者推出 ParanoiaEval,首个统一评测编码智能体风险处置能力的基准,基于 Avoidance-Transfer-Mitigation-Acceptance 框架,包含 200 个证据控制的仓库级任务对。实验覆盖 8 个代表性模型,发现尽管有明确证据,11.2%-58.7% 的运行仍出现不必要的风险处置,且更强的任务能力并不保证更恰当的风险处置。
Source: arXiv · Software Engineering · arxiv.org