zip2zip++论文：改进LZW压缩层缩小质量损失

zip2zip++ 是一篇发表于 arXiv（Computation and Language）的一手论文，提出在推理时以动态词表减少 token 数，且不修改底层预训练语言模型。该方法通过改进压缩层与 LZW 编解码器实现这一目标。研究识别出四类问题：输入/输出嵌入冲突、RoPE 位置编码、数字合并损伤与分词歧义，并分别提出解耦嵌入、尺寸感知 RoPE、选择性合并与多视角分词等方案。论文称这些改进可在推理时压缩 token，同时将质量损失控制在最小范围。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。