跳到正文
原文
arXiv · Artificial Intelligence· Jeffrey Willette, Krishna C. Puvvada, Boris Ginsburg·· 3 小时前AI 评分57

Staying on Task: Testing the Foundations of Long-Horizon Agent Reliability

Staying on Task: Testing the Foundations of Long-Horizon Agent Reliability

AI 导读

论文提出 Long-Transduction 诊断方法,测试模型在长生成过程中持续读取、修改和输出上下文依赖操作的能力。评估七款开源权重模型,发现上下文长度从 4K 扩至 128K 时性能下降 62.8%,输入格式变化下降 36.5%,局部任务复杂度上升下降 39.9%。

来源:arXiv · Artificial Intelligence · arxiv.org