arXiv · Artificial Intelligence· Jeffrey Willette, Krishna C. Puvvada, Boris Ginsburg·· 3 小时前AI 评分57
Staying on Task: Testing the Foundations of Long-Horizon Agent Reliability
Staying on Task: Testing the Foundations of Long-Horizon Agent Reliability
AI 导读
论文提出 Long-Transduction 诊断方法,测试模型在长生成过程中持续读取、修改和输出上下文依赖操作的能力。评估七款开源权重模型,发现上下文长度从 4K 扩至 128K 时性能下降 62.8%,输入格式变化下降 36.5%,局部任务复杂度上升下降 39.9%。
来源:arXiv · Artificial Intelligence · arxiv.org