arXiv · Artificial Intelligence· Terumi Chiba, Guangzhi Sun, Zheqi Yuan, Chao Zhang·· 8 hr agoSelectedAI score60
Talk2Agent:评测文本智能体的语音接口
Talk2Agent: Benchmarking Voice Interfaces for Text Agents
AI brief
Talk2Agent 评测语音接口将人类口语指令传递给 LLM 电脑使用智能体的效果,基于 WildClawBench 和 OSWorld 构建口语任务版本,评测专用 ASR、音频大模型、上下文偏置和 LLM 本体修复等方法,并提出免执行、基于任务意图的评测框架,在 32 小时真实语音上 Pearson 相关性比 WER/CER 提升 0.246。
Why it matters
为语音接口到文本智能体的信息保真度提供了可复现的评测框架和量化结果。
Source: arXiv · Artificial Intelligence · arxiv.org