大语言模型的外在幻觉（Extrinsic Hallucinations）

文章将幻觉限定为模型输出未被上下文或世界知识支撑的编造内容，重点讨论外在幻觉，即输出应基于预训练数据的事实性。Gekhman et al. 2024 发现微调新知识时模型学得慢，且学会后增加幻觉倾向；最佳验证表现出现在多数 Known 样本被学会、仅少数 Unknown 样本被学会时。FactualityPrompt 与 FActScore 等方法通过命名实体错误率和蕴含比来量化幻觉。