ArrivalBench:重放式基准揭示Agent数据管道静默错误
Get the story
2026年10月5日,arXiv Machine Learning Theory 发布 ArrivalBench(一手报道)。该基准重新执行智能体留下的数据管道,使用可重放的迟到、重复、乱序和重试记录,要求最终状态等于对完整日志的批式重算。在 40 个任务上,单次执行评测认证了 86-100% 的管道;重放后,7.0-79.2% 的已认证管道出现静默错误。报道还称,幂等性风险比顺序风险失败更多;危险警告把一个模型的静默失败率从 48.2% 降到 10.5%,但崩溃率从 9.0% 升到 37.0%。目前报道仅呈现上述基准结果,未涉及后续验证或外部复现。
Generated from reports · updated 16 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Machine Learning TheoryArrivalBench:智能体生成的数据管道一次正确、随时间出错
ArrivalBench 重新执行智能体留下的数据管道,用可重放的迟到、重复、乱序和重试记录要求最终状态等于完整日志的批式重算。40 个任务上,单次执行评测认证 86-100% 的管道,重放后 7.0-79.2% 的认证管道静默错误;幂等性风险比顺序风险失败更多,危险警告把一个模型的静默失败从 48.2% 降到 10.5%,崩溃率从 9.0% 升到 37.0%。
Heat trend
Current heat 7·Comparable peak 10(Oct 5)·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.