arXiv · Artificial Intelligence· Xing Han L\`u, Dheeraj Vattikonda, Sina Hajimiri, Fatemeh Pesaran Zadeh, Parishad BehnamGhader, Ghazwa Darwiche, Amirhossein Kazemnejad, Christopher Pal, Alexandre Drouin, Siva Reddy·· 4 hr agoAI score46
AgentHorizon：评测长程计算机使用任务中的智能体裁判
AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks
AI brief
研究者发布 AgentHorizon 基准，含 1,373 个计算机使用任务（指令-轨迹对），来自 166 小时、覆盖三个操作系统的人类录制轨迹，并通过交换相近指令构造负样本任务。
Source: arXiv · Artificial Intelligence · arxiv.org