Token 边界代价：压缩证书与预测权衡研究

该研究通过从两侧约束最优 token 数量，量化了预分词边界带来的压缩代价。在英文维基百科上，边界使最优 token 数增加 28.3–36.8%，BPE 分别比受限下界和无约束上界高 2.1% 和 10.9%。引入 boundary licences 后，仅许可 10% 词汇跨切即可恢复 85.2%–100.0% 的 token 数缩减收益。