跳到正文
原文
arXiv cs.AI· Xinpeng Wang, Bruce Rushing, Zhizhen Chen, Zhe Zeng·· 7 小时前AI 评分63

基于局部熵波动的新指标RelPPR实现黑盒LLM生成文本零样本检测

Local Entropy Fluctuations for Black-Box LLM-Generated Text Detection

AI 摘要

该论文针对现有双模型和重采样检测器在未知源模型的指令条件文本(instruction-conditioned text)上出现灾难性失效的问题,提出了一种新的度量标准Relative Peak Prominence Rate (RelPPR)。作者指出,人类写作保持稳定的信息流,而机器生成文本表现出尖锐的局部熵波动,RelPPR通过捕捉熵轨迹上的这种结构对比来实现对LLM生成文本的零样本检测。

实验评估显示,RelPPR在不同模型家族和数据集上均达到了最先进的黑盒检测性能,并在各种实际场景中保持了最可靠的检测效果。该方法不依赖源模型的具体参数或内部状态,仅通过分析文本生成的熵特征来区分人机内容,解决了传统方法在跨模型场景下因交叉模型差异减小而导致的检测能力下降问题。

事实层面,RelPPR已在arXiv发布并开源代码;推断层面,该指标可能成为未来对抗深度伪造和自动化内容生成的基础工具;猜测层面,其具体部署成本和对特定语言风格的适应性仍需更多工业界验证。

来源:arXiv cs.AI · arxiv.org