arXiv · Computation and Language· Beimnet Bekele Guta, Xiaoyu Yang, Guangzhi Sun, Philip C. Woodland·· 4 hr agoAI score26
用路由稀疏自编码器分离语言与副语言信息
Disentangling Linguistic and Paralinguistic Information with Routed Sparse Autoencoders
AI brief
研究提出将 TopK 稀疏自编码器与路由特定监督及跨因子对抗训练结合，用于分离自监督语音编码器中的语言与副语言信息。在冻结的 SPEAR 与 WavLM 编码器上，独立探针显示语言信息在语言路由中更强，说话人身份、情感与韵律等副语言因子则保留在副语言路由并在语言路由中显著抑制。
Source: arXiv · Computation and Language · arxiv.org