跳到正文
原文
InfoQ 中文· 作者:Bruno Couriol·· 2 小时前精选AI 评分78

Archestra 发布 OpenAPPA 以零攻击成功率防范提示词注入与幻觉导致的数据外泄

Archestra 发布 OpenAPPA,用于防范提示词注入或模型幻觉引发的数据外泄

AI 导读

Archestra 发布了开源安全引擎 OpenAPPA,旨在通过确定性规则阻止由提示词注入或模型幻觉引发的数据泄露。该引擎在智能体执行循环之外运行,利用格代数实现标签的单调组合,确保读取受限记录会缩小可访问对象范围,读取外部网页会降低信任等级。在 Bench-Corp 和 AgentThreatBench 基准测试中,OpenAPPA 实现了 0% 的攻击成功率,同时保持了 89% 的任务完成率。

对比数据显示,Claude Code 原生自动模式攻击成功率为 10%,微软 FIDES 为 31%;后者任务完成率仅 41%。消融实验表明,若完全禁用恢复策略(如净化器、权限主体路由及一次性子分支),任务完成率将骤降至 35.0%。OpenAPPA 通过显式恢复语义解决严格约束下的运营矛盾:当检测到非法操作时,引擎可调用净化器剥离敏感信息,或将请求路由至人工操作员,亦可在隔离的子分支中处理不受信任数据。

事实层面,OpenAPPA 目前处于预览阶段,其形式化代数与恢复保证已发表于 arXiv 论文 APPA:面向真实世界 LLM 智能体的可恢复信息流控制。推断层面,该方案证明了基于确定性策略而非概率分类器的安全架构,能有效规避因模型自身被注入而导致的防护失效。猜测层面,随着 OWASP AgentThreatBench 合并入英国人工智能安全研究所官方仓库,此类基于代数规则的强制访问控制可能成为企业级 Agent 部署的标准前置条件,但具体落地成本尚需观察配置文件维护复杂度。

推荐理由

材料通过格代数与恢复机制的实测数据,校正了“安全必牺牲可用性”的行业假设。

来源:InfoQ 中文 · infoq.cn