跳到正文
热点事件持续更新

AttSVD:注意力引导SVD的提示自适应KV缓存压缩

1 篇报道1 个报道来源2 小时前 更新

先了解这件事

AI 综述

2026年10月7日,arXiv Machine Learning Theory(一手来源)发布 AttSVD 方法。AttSVD 是一种免训练的 KV Cache 压缩方法,按每个提示词的注意力几何做在线截断 SVD,保留注意力实际读取的方向,按保留秩比例降低每头 KV 内存。方法提出累积与流式两种解码时缓存策略,并以逐矩阵能量规则和注意力感知基截断做自适应压缩。报道显示,该方法在多个模型、agentic benchmark 与完整 LongBench 上与稠密缓存持平,KV 内存最多节省 50%。目前未见后续报道或独立验证信息。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv · Machine Learning Theory
    AttSVD:基于注意力引导 SVD 的提示自适应低秩 KV Cache 压缩

    AttSVD 是一种免训练的 KV Cache 压缩方法,按每个提示词的注意力几何做在线截断 SVD,保留注意力实际读取的方向,按保留秩比例降低每头 KV 内存。提出累积与流式两种解码时缓存策略,并以逐矩阵能量规则和注意力感知基截断做自适应压缩。在多个模型、agentic benchmark 与完整 LongBench 上与稠密缓存持平,KV 内存最多节省 50%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。