对抗攻击揭示人类与生成式语言模型在欺骗能力上的差异

一项预注册实验（n = 501）比较了人类与生成式语言模型对自动欺骗分类器实施改写攻击的效果与效率。结果显示，人类在把真实陈述改写为欺骗性内容时更有效，而生成式语言模型在把谎言伪装成真话时更有效且更高效。计算文本分析指出，人类会针对性利用欺骗线索，语言模型则施加泛化变化以显得真实，这既暴露机器测谎的盲区，也意味着语言模型可能助长成功说谎。