跳到正文
原文
arXiv cs.CL· Harshit Gupta, Shunichi Ishihara·· 3 小时前AI 评分52

六款大模型在作者身份模仿任务中表现差异及文本复用机制分析

How Well Can Large Language Models Impersonate Individual Authors? A Comparative Evaluation

AI 摘要

该研究评估了Gemini 3 Pro、Claude Opus、GPT 5.2、GPT 5.2 Pro、DeepSeek 3.2和Grok 4.1 Fast六款大语言模型在模仿特定作者写作风格方面的能力。实验结果显示,尽管Gemini 3 Pro在基于余弦距离的指标上表现出最强的模仿效果,但后续的重叠分析表明其成功主要源于对训练文本中句子和短语的大规模直接复制与复用,这种复用水平远超人类作者的正常范围。

研究进一步发现,训练集的一致性(training set consistency)是预测模仿成功率最稳健的因素,而作者独特性(author distinctiveness)并未成为可靠的预测指标。全局嵌入可视化显示,大多数模型生成的文本在嵌入空间中与对应的人类训练簇存在显著分离,这表明模型未能真正收敛到目标作者的风格,而是保留了自身特定的词汇和短语偏好。

事实层面,研究证实了当前主流模型在风格模仿上存在局限性,且高相似度往往伴随高程度的文本复用。推断层面,这意味着仅凭文本相似度或风格特征难以区分AI生成内容与人类原创,因为模型可能通过“拼凑”训练数据来模拟风格。猜测层面,这一发现暗示未来的文本取证可能需要引入更严格的去重检测机制,以识别那些看似风格一致但实质为训练数据复用的AI生成文本,从而应对潜在的欺诈风险。

来源:arXiv cs.CL · arxiv.org