跳到正文
原文
arXiv · Computation and Language· Jianan Pan, Yiwen Gu, Xinze Li, Rui Wang, Kejie Huang·· 3 小时前AI 评分28

EMODE:面向情感感知语音语言建模的动态副语义专家

EMODE: Dynamic Para-Semantic Experts for Emotion-Aware Speech Language Modeling

AI 导读

EMODE 提出动态副语义专家(DPSE),将连续语音特征分解为语义与副语言通路并动态路由融合,以改善大语言模型对情感等副语言线索的保留。模型采用语义预热、副语言激活与联合精炼的三阶段课程训练,并以正交专家引导(OEG)、语义到声学对齐(SAA)和门控多样性正则化(GDR)为指导。

来源:arXiv · Computation and Language · arxiv.org