跳到正文
原文
arXiv · Audio and Speech· Gaspard Bott\'e, S\'everin Baroudi, Samir Sadok, Francesco Paissan, Thomas Hueber, Xavier Alameda-Pineda, Ricard Marxer, Mirco Ravanelli·· 5 小时前AI 评分25

GLaS-JEPA:高斯正则化语音自监督学习无需工程化预测目标

GLaS-JEPA: Gaussian-Regularized Speech SSL without Engineered Prediction Targets

AI 导读

GLaS-JEPA 直接预测当前编码器在掩码位置的连续表示,无需对比学习、离散目标或独立 EMA 目标编码器,并通过 SIGReg 表示空间正则化防止表征坍缩。

来源:arXiv · Audio and Speech · arxiv.org