arXiv · Machine Learning Theory· Giovanni Monea, Keshav Ramji, Yousef El-Kurdi, Luis A. Lastras, Yoav Artzi, Nathan Godey, Ram\'on Fernandez Astudillo·· 16 小时前AI 评分38
共享内存在 Looped Transformer 中的惊人效果
The Surprising Effectiveness of Shared Memory in Looped Transformers
AI 导读
研究者预训练了共享内存的循环语言模型：仅第一次递归写入 KV cache，后续递归读取它并保留短窗口。
来源：arXiv · Machine Learning Theory · arxiv.org