arXiv · Artificial Intelligence· Junyu Guo, Yuchen Fang, Shangding Gu, Costas Spanos, James Demmel, Javad Lavaei·· 8 hr agoSelectedAI score62
When Context Changes: Understanding Update Failures in LLMs
When Context Changes: Understanding Update Failures in LLMs
AI brief
论文提出 Controlled In-Context Memory（CICM）基准，用于研究LLM在对话和Agent日志中跟踪与使用更新信息的能力。研究发现即使前沿推理模型也常出现 stale binding，即答案沿用旧值；开源模型中探针仍可恢复新值，说明是信息选择失败。
Why it matters
提出CICM基准并定位注意力漂移机制，为理解模型为何使用过时信息提供了可迁移的分析框架。
Source: arXiv · Artificial Intelligence · arxiv.org