字节Seed研究揭示DeepSeek-V4时强时弱源于KV Cache压缩相位敏感性

字节Seed团队发现，DeepSeek-V4在长上下文任务中的表现会随信息相对压缩窗口边界的位置呈周期性变化，128K检索测试中同一条信息换位置后最高拉开40.2个百分点。研究将原因归到分块KV Cache压缩：压缩步长决定周期，模型内部还出现相位专门化，后训练和架构迭代可缩小差距但仍存在。