arXiv · Databases· Ruiying Ma, Shreya Shankar, Ruiqi Chen, Yiming Lin, Sepanta Zeighami, Rajoshi Ghosh, Abhinav Gupta, Anushrut Gupta, Tanmai Gopal, Aditya G. Parameswaran·· 4 hr agoAI score49
Data Agent Benchmark（DAB）：AI 智能体能否回答你的数据问题？
Can AI Agents Answer Your Data Questions? A Benchmark for Data Agents
AI brief
研究者发布面向 LLM 智能体的 Data Agent Benchmark（DAB），基于对六个行业构建生产级数据智能体的调研，包含 104 个查询、覆盖 17 个数据集与 4 种数据库管理系统。当前最强的 SOTA 智能体在 DAB 上仅取得 57% pass@1，论文分析了智能体的失败模式并提炼数据智能体开发要点，基准与实验代码已公开。
Source: arXiv · Databases · arxiv.org