新基准显示强任务能力的 LLM Agent 在真实环境中存在高隐私泄露风险

该论文发布 AgentCIScope 基准，用于评估 LLM Agent 在多步可执行任务中的上下文完整性（Contextual Integrity），即信息流是否符合特定场景的披露约束。研究测试了 12 个 Agent 在 936 个任务上的表现，发现任务完成能力强并不保证隐私保护：单次运行泄露率在 32.5% 至 94.4% 之间，重复执行五次后泄露率进一步增加 4 到 19 个百分点。

证据细节显示泄露行为具有高度异质性。个人偏好和预订信息的平均泄露率分别高达 84.7% 和 76.5%，而信用卡信息和 SSN（社会安全号码）的泄露率仅为 17.1% 和 29.4%。在环境维度上，日历作为信息来源泄露最高，WhatsApp 作为信息目的地泄露最高。这些结果基于治理隐私政策、基于角色的协议以及预定义敏感属性分类法构建的可执行约束。

事实层面确认了当前 Agent 在跨应用交互中存在系统性隐私漏洞，推断表明单纯提升推理或工具调用能力无法解决合规问题，必须引入显式的上下文感知机制。猜测部分认为，若缺乏针对具体业务场景的披露约束微调，通用 Agent 在部署时将面临极高的用户信任风险。