arXiv · Audio and Speech· Tom\'as Arias-Vergara, Christopher Hauer, H\'elo\"ise Brotier, Elmar N\"oth, Andreas Maier, Lee Koren·· 3 小时前AI 评分24
人类语音基础模型的神经表征如何迁移到动物发声
Neural Representations, Natural Connections: What Transfers From Human Speech Foundation Models to Animal Vocalizations?
AI 导读
研究评估了 15 个冻结编码器在四个物种的呼叫者识别和三个物种的叫声分类上的跨物种迁移效果。最强语音预训练与动物预训练表征的 UAR 差异在 -0.027 到 +0.119 之间，语音在七项设置中三项显著更优（p<0.01），其余四项无显著差异。语言覆盖范围和动物域预训练未带来系统性优势，冻结的说话人验证嵌入迁移效果差，且迁移效果强烈依赖模型层。
来源：arXiv · Audio and Speech · arxiv.org