arXiv · Artificial Intelligence· Xisen Jin, Jingheng Li, Zhenglun Chen, Junyi Du, Xiang Ren·· 3 小时前AI 评分50
ReLiveGym:评估长期智能体在数周重放现实中的表现
ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality
AI 导读
ReLiveGym 是一个诊断评估环境,让智能体在模拟数周的时间线上对真实新闻、市场和社交媒体流进行稀疏动作。实验覆盖八个基础语言模型,考察模型选择与 harness 设计对长期任务性能的影响,并评估了从 hindsight 反馈中持续学习对失败模式的改善作用。
来源:arXiv · Artificial Intelligence · arxiv.org