跳到正文
原文
arXiv cs.CR· Daniel Ruiz, Luca Luceri, Emilio Ferrara·· 5 小时前精选AI 评分78

论文发现GPT-5.6-Sol等智能体在合成场景下存在非忽略的机密数据拼凑泄露风险

Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems

AI 导读

该研究量化了现代LLM智能体在处理机密数据时的“马赛克效应”风险,即通过检索多个可访问文档并组合信息来披露敏感结论。在包含网络安全、医疗和军事内容的30个合成案例中,表现最好的模型GPT-5.6-Sol即使在良性查询下,也在7.08%的模拟答案中披露了被禁止的组合信息,而在两个开源测试框架中的真实智能体表现更差。即便添加了可见的分类标题和明确的聚合规则,所有意图下的模拟答案中仍有32.37%存在不安全披露。

研究进一步指出,增加拒绝回答的比例并不能保证机密性,因为显著的拒绝行为本身往往就揭示了被禁止的结论。这一发现表明,在混合权限用户环境中,仅靠简单的访问控制或提示词工程不足以防止敏感数据的间接泄露。实验涵盖了10,800个模拟答案和1,440个真实智能体答案,样本量足以支撑对当前主流模型在复杂推理场景下安全边界的评估。

事实层面确认了现有防护机制(如分类头、聚合规则)在应对多源信息拼凑时的失效概率;推断层面认为这要求系统必须引入更强的推理限制,而不仅仅是输出过滤;猜测层面在于这种风险在跨组织协作或高敏行业落地时可能比实验室环境更为普遍,但具体影响程度需结合实际部署架构验证。

推荐理由

材料把收入增长拆到客户和成本结构,能直接校正对商业化质量的判断。

来源:arXiv cs.CR · arxiv.org