Skip to content
arXiv · Computation and Language· Saibo Geng, Andrea Gentilini, Xinxian Ma, Nathan Ranchin, Yunzhen Yao, Robert West·· 3 hr agoAI score42

zip2zip++:以最小质量损失实现推理时 token 压缩

zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss

AI brief

zip2zip++ 通过改进压缩层与 LZW 编解码器,在推理时以动态词表减少 token 数,且不修改底层预训练语言模型。研究识别出输入/输出嵌入冲突、RoPE 位置编码、数字合并损伤与分词歧义四类问题,并提出解耦嵌入、尺寸感知 RoPE、选择性合并与多视角分词等方案。

Source: arXiv · Computation and Language · arxiv.org