ParaTrace复现NeurIPS检测显示高误报率

作者使用 ParaTrace v7 重新运行了 NeurIPS 2026 会议使用的 AI 文本检测流程，发现该工具在 2022 年论文上无阳性结果，但在 2025 年论文上与 Pangram 3.3.2 存在显著分歧：ParaTrace 在 50% 阈值下标记了 7.3% 的论文，而 Pangram 仅标记 1.0%。这种差异主要源于 ParaTrace 将经过 AI 润色的人类写作视为 AI 生成，且其默认设置下的误报率（1.86%）高于 Pangram（0.00%），特别是在处理短文本和经过“人类化”工具处理的文本时表现更差。 在对抗性测试中，ParaTrace v7 对完全由 AI 生成的学生作文检出率为 100%，但对经过人类化处理的短文本（<50 字）检出率仅为 73.02%，远低于 Pangram 4 的 99.70%；对于经过人类化处理的长文本，检出率更是跌至 21.42% vs 98.93%。作者指出，虽然 ParaTrace 在标准 AI 生成文本上表现优异（99.6% 检出率），但其训练数据未包含成人说服性文章等特定体裁，导致此类人类文本误报率高达 18.4%。 事实层面，两工具对 2022 年论文均无阳性判定，证明对前 ChatGPT 时代文本的区分度一致；推断层面，当前检测器在应对“AI 辅助编辑”这一合规场景时存在系统性偏差，可能错误惩罚符合 NeurIPS 政策的论文；猜测层面，若缺乏针对特定文体或复杂混合写作的校准，单一检测器不应作为学术不端判定的唯一依据，需结合人工复核以规避因模型训练数据分布偏移导致的误伤。