arXiv · Machine Learning Theory· Gleb Molodtsov, Ekaterina Alimaskina, Evgeny Uskov, Artur Zagitov, Aleksandr Beznosikov·· 4 hr agoAI score32
MaskAhead：面向块扩散语言模型的掩码引导 KV Cache 驱逐
Mask-Guided KV Cache Eviction in Block Diffusion Language Models
AI brief
研究者提出 MaskAhead，一种免训练的掩码查询排序方法，用当前块掩码指导选择、未来掩码块探测指导驱逐，同步解决块扩散语言模型生成中的 token 选择与 KV cache 驱逐问题。
Source: arXiv · Machine Learning Theory · arxiv.org