arXiv · Multiagent Systems· Jiale Liu, Huajun Xi, Shaokun Zhang, Yifan Zeng, Tianwei Yue, Chi Wang, Jian Kang, Qingyun Wu, Huazheng Wang·· 2 小时前AI 评分38
Who&When Pro:LLM 能否真正归因 AI 智能体的失败?
Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?
AI 导读
研究者推出 Who&When Pro,一个面向智能体系统自动化失败归因的大规模基准。基准通过严格受控流水线,在完整重放成功前缀后才注入失败,构建了覆盖 3 种模态、26 个 benchmark 的 12,326 条带黄金标签的失败轨迹。实验还揭示了模型在不同模态、协议与模型族间归因失败的系统性模式,为后续自动化失败归因系统提供经验指引。
来源:arXiv · Multiagent Systems · arxiv.org