Skip to content
arXiv · Software Engineering· Zhengyang Zhu, Liming Huang, Runmin Ji, Mingxi Ye, Zihan Zhou, Hanyang Guo, Jingwen Wu, Yuhan Ye, Yuming Feng, Hong-Ning Dai, Zibin Zheng·· 4 hr agoAI score55

HarnessSecurity-Bench 评测六款编码 Agent 框架的安全机制

HarnessSecurity-Bench: Do Security Mechanisms Really Protect Coding Agent Harnesses?

AI brief

论文发布 HarnessSecurity-Bench,对六款编码 Agent 框架的十类安全机制进行系统评测。研究覆盖 23 个任务、2,500 次试验和 81,155 次工具调用,发现开启 auto-approve 会把攻击成功率从 29.2% 提升到 95.6%,网络隔离和只读模式虽降低攻击效果但损失任务效用,命令白名单和黑名单则在降低攻击效果的同时分别带来小幅效用损失和增益。

Source: arXiv · Software Engineering · arxiv.org