arXiv · Audio and Speech· Liming Wang, Neguine Rezaii, Bradford C. Dickerson, James Glass·· 4 hr agoAI score27
多模态大语言模型分类语音痴呆需要推理能力吗？
Do Multimodal Large Language Models Need Reasoning to Classify Dementia from Speech?
AI brief
论文评估推理型多模态大语言模型在语音痴呆自动分类中的表现，发现依赖文本理由的朴素策略会产生幻觉且不一致，性能不如无 LLM 基线。研究提出适配器框架 DeTAiL，利用推理 MLLM 的内部表征并结合强化学习，在两个测试格式与标签粒度不同的痴呆数据集上持续优于强基线与文本理由方法。代码与演示将在论文被接收后发布。
Source: arXiv · Audio and Speech · arxiv.org