Apple 压缩流式神经音频编码器：基于潜在空间蒸馏的端侧语音分词器方案

Apple 研究提出通过潜在空间蒸馏压缩流式神经音频编码器，以预量化潜在表示作为监督目标，仅训练学生编码器回归教师逐帧潜在值。2.8× 压缩下，蒸馏学生在五个教师-学生对上相对 WER 保持在 1.9% 以内，且同等容量独立训练分词器提升 3.9%。该方案覆盖两种分词接口，无需微调。