arXiv · Computation and Language· Hemant Yadav, Sunayana Sitaram, Roger Zimmermann, Rajiv Ratn Shah·· 4 hr agoAI score30
DirectSpeech2LLM：缓解 Speech-LLM 提示过拟合的端到端框架
DirectSpeech2LLM: A Simple End-to-End Framework to Mitigate Prompt Overfitting in Speech-LLMs
AI brief
DirectSpeech2LLM 提出端到端框架，缓解 Speech-LLM 仅用 ASR 指令训练后无法泛化到新指令的提示过拟合。该框架在冻结的 LLM 嵌入矩阵上计算基于距离的 CTC 损失，并用贪心 CTC 标签生成几何与时间对齐的语音嵌入。仅用 960 小时 LibriSpeech ASR 数据训练，即在 ASR 上超越级联系统，并零样本泛化到语音翻译与情感识别，接近级联系统上限。
Source: arXiv · Computation and Language · arxiv.org