Skip to content
Hot eventLive

FTC：序贯结构化压缩LLM注意力无需微调

1 reports1 sources3 hr ago updated

Get the story

AI overview

2026-10-02，arXiv发布一手研究，提出序贯结构化压缩框架FTC。该框架在固定存储预算下适配当前压缩模型，联合利用Q/K/V头结构，并对输出投影单独处理以应对表示变化。实验覆盖6B至32B七个解码器-only LLM，在五款现代GQA模型的WikiText-2困惑度上各keep ratio均最优，激进压缩下增益最大，改进可迁移到下游任务且在32B规模仍显著，无需微调或基于梯度的恢复。

Generated from reports · updated 3 hr ago

LatestOct 2
arXiv发布FTC框架，可在无需微调的情况下序贯结构化压缩LLM注意力并在多个模型上取得最优困惑度。

Timeline

Follow the coverage from different angles.

Oct 2, 2026
  1. arXiv · Statistics Machine Learning
    Sequential Functional Structured Tucker Compression for Large Language Model Attentions

    FTC是一种序贯结构化压缩框架，在固定存储预算下适配当前压缩模型并联合利用Q/K/V头结构，输出投影单独处理以应对表示变化。实验覆盖6B至32B七个解码器仅LLM，在五款现代GQA模型的WikiText-2困惑度上各keep ratio均最优，激进压缩下增益最大，且改进迁移到下游任务并在32B规模仍显著。无需微调或基于梯度的恢复。

Heat trend

There is not enough continuous observation data to draw a trend yet.