arXiv · Computation and Language· Xunjian Yin, Tianchen Guan, Jinao Wang, Weili Cao, Daisy Xinlei Lin, Royce Cheng-Yue, Keagan Long, Kyle Wong, Bhuwan Dhingra, Xiangjun Wang, Shuyan Zhou·· 5 小时前AI 评分48
构建具有挑战性的浏览器使用任务：基于受控环境干预的 BreakingWeb 基准
Constructing Challenging Browser-Use Tasks by Controlled Environment Interventions
AI 导读
BreakingWeb 通过在七家自托管网站的 519 组任务对上施加确定性、可检测且可恢复的环境干预，构建了挑战性浏览器使用基准，涵盖 29 种干预家族。评估六种主流浏览器智能体、三种仅看截图的 GUI 智能体及人类后，干预使智能体通过率平均下降 22.9%，近半数任务被推翻；75% 的失败属于智能体在未完成实际变更时声明成功。代码、数据与环境已公开。
来源：arXiv · Computation and Language · arxiv.org