跳到正文
原文
arXiv cs.AI· Zhuoxuan Zhang, Jinhao Duan, Xinyu Zhao, Jinduo Guo, Shuai Shao, Rui Li, Luke Simon, Zhun Deng, Tianlong Chen, Bo Sun·· 5 小时前AI 评分72

AlignPoison 证明生成式推荐模型可通过解码对齐前缀实现条件定向投毒

AlignPoison: Conditional Targeted Poisoning of Generative Recommenders via Decoding-Aligned Prefixes

AI 摘要

该论文通过实证研究发现,基于自回归解码的生成式推荐模型对数据投毒具有显著脆弱性:在仅注入少于 1% 的合成恶意交互且以黑盒方式查询 API 的现实设定下,触发特定条件即可大幅提升恶意目标的推广概率。

研究提出 AlignPoison 框架,从解码对齐和词缀流行度两个维度分析恶意交互合成机制,发现短小、与上下文对齐且频繁关联触发词的前缀能显著放大定向推广效果。实验显示该方法在单模态和多模态基准上优于现有基线,攻击成功率提升最高达 16.3 个百分点,证实了生成式推荐模型存在解码依赖且对上下文敏感的投毒漏洞。

事实层面确认了生成式推荐模型在有限注入条件下的可被攻击性;推断表明当前主流推荐系统的对抗防御策略可能未覆盖此类解码路径;猜测部分指出若该漏洞被利用,可能导致推荐结果被定向操纵,但具体影响范围取决于实际部署中的输入控制强度与监控机制。

来源:arXiv cs.AI · arxiv.org