跳到正文
原文
arXiv cs.CR· Alexander Nemecek, Yuqiao Xu, Joseph Falkenburg, Erman Ayday·· 1 天前AI 评分68

跨语言同形字与不可见字符水印在40种语言中仍存在显著容量差距

No Tokenizer, Still a Gap: Cross-Lingual Fairness of Homoglyph and Invisible-Character Watermarking

AI 摘要

这篇arXiv论文通过实测24种脚本、40种语言变体,证实即使不依赖模型分词器(tokenizer),基于同形字和不可见字符的编辑型水印在不同语言间仍存在巨大的检测能力鸿沟。研究发现脚本类型解释了96%的容量变异,且低资源语言往往因脚本本身缺乏同形字而容量更低,导致检测所需文本量激增。

具体数据表明,普通复制粘贴操作会剥离不可见字符,使检测器对英语或波斯语仅需约2个代码点,而对老挝语则需93个代码点;整体容量在不同语言间存在3.3倍的波动。虽然拉丁脚本内资源水平未造成显著差异,但跨脚本比较显示容量随资源水平上升(相关系数+0.54),这直接归因于低资源语言倾向于使用同形字稀缺的脚本体系。

事实层面,该研究量化了非生成式水印的极限;推断层面,这意味着单纯移除分词器依赖并不能解决AI内容认证中的公平性问题,反而将不平等根源从分词机制转移到了字符集本身的结构性限制上;猜测层面,未来若要在全球范围内部署此类水印,必须针对特定脚本定制编码策略,否则可能加剧对非主流语言内容的误判风险。

来源:arXiv cs.CR · arxiv.org