跳到正文
原文
arXiv cs.CR· Evan Caville, Spencer Kayser, Siamak Layeghy, Billy Sung, Sara Dolnicar, Marius Portmann·· 2 小时前精选AI 评分78

SIREN 研究证实通过篡改已检索网页内容可将目标实体在 Claude 模型推荐中提升至第一

SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders

AI 导读

该论文提出 SIREN 方法,针对 Web-RAG 推荐系统中的对抗性操纵进行研究,核心发现是在保持检索来源和顺序不变的前提下,仅通过编辑已获取的网页内容,即可成功将指定实体推升至 LLM 生成推荐列表的第一位。

实验在 Anthropic 的两个生产级 Claude 模型上进行,SIREN 利用 PAIR 越狱循环适配竞争性排名操纵,通过 23 种内容投毒技术迭代编辑网页。在 124 次嵌套于八个查询 - 模型上下文的尝试中,有 62 次达到排名第一位;这些载荷在独立会话中的复现成功率平均为 0.805。研究发现声明式排名主张和种子列表通常比指令型注入更有效,但效果差异取决于目标模型。

事实层面,本研究是首批在固定上下文条件下控制变量测试生产级 LLM 竞争性排名操纵的研究之一。推断层面,这表明当前 Web-RAG 系统的防御机制若仅关注检索结果本身而忽视内容语义的可篡改性,将面临严重的安全缺口。猜测层面,随着 Agent 工具调用能力的普及,此类基于内容微调的攻击面可能从单一推荐场景扩展至更复杂的决策链条,需重新评估 RAG 架构的信任边界。

推荐理由

材料揭示在固定检索源下仅修改内容即可将目标推至首位,校正对 RAG 推荐系统对抗鲁棒性的评估。

来源:arXiv cs.CR · arxiv.org