arXiv · Machine Learning Theory· Bahareh Nikpour, Hossein Rajabzadeh, Maryam Dialameh, Vahid Partovi Nia, Parsa Omidi·· 3 hr agoAI score37
Kronecker Product Attention：用结构化分解实现内存高效的 KV 压缩
Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization
AI brief
研究者提出 Kronecker Product Attention（KPA），将 key 和 value 激活表示为紧凑的、依赖 token 的矩阵因子的 Kronecker 乘积之和，严格泛化了 Tensor Product Attention（TPA）。
Source: arXiv · Machine Learning Theory · arxiv.org