arXiv · Audio and Speech· Sanat Kumar Agrawal, Srikanth Raj Chetupalli·· 4 hr agoAI score22
Indic-CLAP：通过跨语言蒸馏实现印度语言的文本-音频理解
Indic-CLAP: Text--Audio Understanding in Indic Languages via Cross-Lingual Distillation
AI brief
研究者提出 Indic-CLAP，一个将 CLAP 扩展到九种印度语言的多语言文本-音频模型，覆盖超过十亿使用者。该方法利用 CLAP 的双编码器结构，仅通过蒸馏训练 Indic 文本编码器，音频编码器保持冻结，并使用机器翻译的 AudioCaps 字幕。评估显示 Indic-CLAP 编码器继承了 CLAP 教师的跨模态对齐能力，在跨模态检索和零样本分类任务上得到验证。
Source: arXiv · Audio and Speech · arxiv.org