Lossy Compressive Text Autoencoders

该工作提出一种自编码器架构，在时间轴上对隐藏表示做残差缩放与升采样，并引入低维离散瓶颈，用于学习文本的压缩潜表示。研究分析了不同量化方法、训练目标与数据集，并用 BLEU 和基于 LLM 的评判评估重建质量。在网页文本上，其压缩表示达到 2.24 bits per byte，与无损文本压缩算法相当，同时在下游问答与语义文本相似度基准上保持良好表现。