arXiv · Artificial Intelligence· Lei Ma, Dennis Hofmann, Haowen Xu, Joshua DeOliveira, Peter VanNostrand, Lei Cao, Elke Rundensteiner·· 6 小时前AI 评分39
MAADBench:多智能体系统异常检测的可刷新基准
MAADBench: The Refreshable Paradigm for Anomaly Detection in Multi-Agent Systems
AI 导读
MAADBench 是首个支持多智能体系统异常检测的可刷新基准,结合约 10^37 任务空间的采样耦合生成任务、可配置 LLM 回溯的刷新轨迹生成,以及自动化确定性逐步标注。MAADBench-Full 数据集包含 5,200 条逐步标注轨迹,基于 5 个前沿 LLM 骨干对 25 种异常检测方法进行基准测试,揭示当前方法高度依赖监督、对多智能体特异性异常鲁棒性不足。开源地址见原文。
来源:arXiv · Artificial Intelligence · arxiv.org