如何测量机器生成文本检测器对伪影的依赖

研究发现，多个科学文献基准上近乎完美的机器生成文本检测性能源于数据格式伪影，而非真实检测能力。基于 27 个表层特征的逻辑回归在三个 arXiv 子集上取得 0.951-0.997 的 F1，其中 PDF 提取伪影（人类文本保留原换行、生成文本被提取为单段）配合另外三个格式特征即可达到 0.996 AUC。