arXiv · Machine Learning Theory· Yao Fu, Cyrus Chang, Ritchie Zhao, Bryce Long, Yueying Li, Mahdi Kamani, Samkit Jain, Rahul Raman, Tara Safavi, Shreya Gupta, Parsa Ashrafi Fashi, Minseok Lee, Julien Demouth, Bita Darvish Rouhani·· 3 小时前AI 评分37
SPIN：面向稀疏注意力的影子预测索引器
SPIN: Shadow Predictive Indexer for Sparse Attention
AI 导读
研究者提出 SPIN（Shadow Predictive Indexer），用轻量级基于历史的预测识别重要 KV block，避免索引器在每个解码步骤为整个 KV cache 打分。
来源：arXiv · Machine Learning Theory · arxiv.org