arXiv · Artificial Intelligence· Daksh Raghuvanshi, Ved Vedere, Yifan Wang·· 4 hr agoAI score47
StoreBench:用于评估与训练自主运营智能体的直播电商环境
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
AI brief
研究者推出 StoreBench,让智能体在生产级电商后端运营中型服装网店,用 29 个商家工具在客户全天候下单、供应商调价与市场冲击下做长程规划。七个前沿 LLM 在 11 个场景(30 至 45 天及完整模拟年)中评测,最佳 DeepSeek-V4-Pro 通过 49% 任务-种子单元,低于脚本策略的 97%,人类专家均值 0.708 胜过模型的 0.700。
Source: arXiv · Artificial Intelligence · arxiv.org