Amazon Science·· 2026-08-21精选AI 评分62
SOP-Bench：基于真实企业流程评估 AI 智能体的新基准
SOP-Bench: A new benchmark for evaluating AI agents on real business procedures
AI 导读
Amazon 发布开源基准 SOP-Bench，覆盖 12 个业务领域、2000+ 任务，把专家撰写的真实 SOP 与工具及答案对齐来评估智能体。实验显示升级模型未必提升表现、工具过多会降低成功率，且没有一种模型+智能体组合在所有流程中占优。
推荐理由
原文给出基线模型在真实业务 SOP 上的失败模式，读者可据此判断自研智能体在部署前应重点测试哪些环节。
来源：Amazon Science · amazon.science