跳到正文
原文
arXiv · Artificial Intelligence· Yizhou Han, Di Wu, Dhananjay Saikumar, Blesson Varghese·· 3 小时前AI 评分50

AgBench:个人 AI 设备上的 Agentic AI 评测基准

AgBench: Agentic AI Benchmarks for Personal AI Devices

AI 导读

AgBench 是一个用于在个人 AI 设备上可复现评测 Agentic AI 的基准套件与开放工件。基于超过 162.07M 个数据点评估本地、混合与云端执行,衡量任务成功率、延迟、云 API 成本与数据暴露。结果显示本地执行能完成许多任务,但任务成功率与完成速度通常低于云端;混合执行可提升成功率,其云成本与数据暴露取决于任务划分与信息共享方式,没有单一架构在所有维度上最优。

来源:arXiv · Artificial Intelligence · arxiv.org