arXiv · Computation and Language· Yusheng Zhou, Eleanor Lin, David Jurgens·· 6 小时前AI 评分54
Lost in Translation：测量非母语英语对大语言模型终端用户表现的影响
Lost in Translation: Measuring the Effect of Non-Native English on End User Performance of Large Language Models
AI 导读
论文提出FABLE数据集，包含190,911个英语提示变体，源自174K条真实用户写作类任务提示。评估34个开源权重大语言模型后发现，模型不会传播拼写等表面错误，但会镜像用户提示中的高阶修辞与词汇特征；提示词流利度越低，模型回复质量与流利度均显著下降。
来源：arXiv · Computation and Language · arxiv.org