arXiv · Databases· Zhuochun Li, Youngmin Ko, Ali Keramati, Nicola Ferri, Susana Palmaz Lopez Pelaez, Liang-Chun Tsai, Calvin Wang, Mirco Milletari, Tuhin Kundu, Vadim Smolyakov, Kjartan Olafsson, Tommy Guy·· 8 hr agoSelectedAI score62
Thinkingbox：面向有状态业务工作流的 Agent 沙箱与基准评测
One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows
AI brief
论文提出 Thinkingbox 沙箱与 Thinkingbox-bench 基准，包含 507 个策略条件化的业务工作流，覆盖零售、酒店、汽车保险、新银行内部 IT 及咨询 IT/HR 支持。
Why it matters
论文构建了可复现的沙箱与评测基准，揭示现有模型在状态化业务工作流中的可靠性差距。
Source: arXiv · Databases · arxiv.org