arXiv cs.CL· Stanislav Kirichenko·· 2 小时前AI 评分72
同一生成源因任务措辞不同导致机器文本检测结果出现分歧
Same Origin, Different Verdicts: Text Production Conditions Confound Machine-Generated Text Detection in Russian
AI 摘要
该研究通过俄语语料库证明,机器生成的文本来源(origin)是生产过程的属性而非文本可观测属性,且生产条件会将文本推向生成模型预设的方向,从而混淆检测器判断。在固定生成源的情况下,仅改变任务措辞就导致四种检测程序(可解释指数、训练分类器、零-shot 指标、裁判模型)的评分发生显著分歧,其中三个给出负向偏移,一个给出正向偏移,且置信区间均不包含零。
关键证据显示,仅移除强调标记(emphasis markers)就能将自信的机器判定翻转为人写,而全文字符未变;仅凭来源标识符的基线在定义组上达到 1.0000 的中位 AUROC。这表明检测分数并非单纯反映语言风格,而是数据收集、重复、格式化和预处理决策的产物,甚至可能受非内容因素主导。
事实层面,四项检测程序在相同生成源下对同一文本给出了不一致的“机器似然度”评分。推断层面,当前基于统计特征的检测机制极易被非语义的生产条件干扰,其作为“金标准”的可靠性存疑。猜测层面,若行业继续依赖此类检测进行内容审核或版权界定,可能会产生大量误判,需重新评估检测系统的验证流程与基准测试设计。
来源:arXiv cs.CL · arxiv.org