arXiv · Machine Learning Theory· Pranay Kothari·· 16 小时前AI 评分55
ArrivalBench:智能体生成的数据管道一次正确、随时间出错
ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time
AI 导读
ArrivalBench 重新执行智能体留下的数据管道,用可重放的迟到、重复、乱序和重试记录要求最终状态等于完整日志的批式重算。40 个任务上,单次执行评测认证 86-100% 的管道,重放后 7.0-79.2% 的认证管道静默错误;幂等性风险比顺序风险失败更多,危险警告把一个模型的静默失败从 48.2% 降到 10.5%,崩溃率从 9.0% 升到 37.0%。
来源:arXiv · Machine Learning Theory · arxiv.org