跳到正文
热点事件持续更新

Indic-CLAP:跨语言蒸馏扩展CLAP至九种印度语言

1 篇报道1 个报道来源2 小时前 更新

先了解这件事

AI 综述

研究者提出 Indic-CLAP,一个将 CLAP 扩展到九种印度语言的多语言文本-音频模型,覆盖超过十亿使用者。该方法沿用 CLAP 的双编码器结构,仅通过蒸馏训练 Indic 文本编码器,音频编码器保持冻结,并使用机器翻译的 AudioCaps 字幕进行训练。评估显示 Indic-CLAP 编码器继承了 CLAP 教师的跨模态对齐能力,在跨模态检索和零样本分类任务上得到验证。该成果发表于 arXiv 的 Audio and Speech 类别,为一手研究报道。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv · Audio and Speech
    Indic-CLAP:通过跨语言蒸馏实现印度语言的文本-音频理解

    研究者提出 Indic-CLAP,一个将 CLAP 扩展到九种印度语言的多语言文本-音频模型,覆盖超过十亿使用者。该方法利用 CLAP 的双编码器结构,仅通过蒸馏训练 Indic 文本编码器,音频编码器保持冻结,并使用机器翻译的 AudioCaps 字幕。评估显示 Indic-CLAP 编码器继承了 CLAP 教师的跨模态对齐能力,在跨模态检索和零样本分类任务上得到验证。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。