arXiv · Audio and Speech· Hanlin Zhang, Daxin Tan, Dehua Tao, Chengxi Deng, Xiao Chen, Linqi Song·· 4 hr agoAI score29
NormToken：通过迭代 S2U-T2U 精炼实现说话人与时长归一化的语义语音 token
NormToken: Speaker- and Duration-Normalized Semantic Speech Tokens via Iterative S2U-T2U Refinement
AI brief
NormToken 提出一种迭代语义 token 精炼框架，交替进行 S2U 与 T2U 训练，用 T2U 模型生成的文本派生 token 监督新初始化的 S2U tokenizer，再以 S2U token 作为下一轮 T2U 目标，使两者趋向共享、可由文本预测的 token 空间。
Source: arXiv · Audio and Speech · arxiv.org