机器生成文本检测器依赖PDF提取伪影

该研究指出当前机器生成文本检测器在科学文献基准上表现近乎完美，但这主要源于文档构建方式引入的格式伪影而非真正的语义区分能力。作者分析了来自六个资源库的十个科学文档子集，发现基于27个表面特征的逻辑回归模型在三个arXiv子集上的F1分数达到0.951-0.997，优于所有被评估的检测器。最关键的判别线索是PDF提取伪影：人类撰写的文本保留了原始换行符，而生成文本通常被提取为单段散文。 实验表明，仅通过重新包装机器生成的摘要而不改变任何单词，就能使公共检测器的正确决策反转20-27%。这种格式特征与其他三个格式化特征共同实现了0.996的AUC。通过在训练前标准化格式，检测器在包含此类信号的基准与泛化性能之间的差距从0.32缩小至0.22；在去除格式干扰的基准上，针对含伪影子集训练的检测器其域外宏平均F1分数从0.33提升至0.65。 事实层面，检测器高度依赖PDF提取产生的换行差异这一物理特征。推断层面，现有基准测试的有效性存疑，因为它们未能剥离这些非语义信号。猜测层面，若行业继续依赖未经格式清洗的基准进行模型评估，可能导致对检测能力的误判，进而影响对抗性防御策略的制定。