跳到正文
原文
arXiv cs.CR· Yuchen Zhang·· 5 小时前AI 评分70

当AI调查员无法信任工具时:面向网络威胁调查的冲突感知证据验证方法

When AI Investigators Cannot Trust Their Tools: Conflict-Aware Evidence Verification for Cyber Threat Investigation

AI 摘要

该研究针对LLM Agent在安全告警处理中盲目信任检测工具的问题,提出了一种名为Conflict-Aware Evidence Verification (CAV) 的验证框架。作者在修正后的CIC-IDS2017数据集上模拟了不同数量的检测器被污染的场景,发现未经验证的Agent在面对工具间冲突或错误输出时极其脆弱:仅一个检测器出错即可使准确率降至0.50-0.72,三个检测器出错则导致所有未验证Agent的准确率跌至0.13以下,且诚实的分歧本身就会让Agent在高达63%的流量上选择弃权。

CAV由等权重投票(忽略报告置信度)、证据冲突门控以及独立的最近邻信任检查三个组件构成。在测试中,即使面对三个被污染的检测器,CAV-LLM仍能保持0.84-0.88的准确率,而 naive investigator 仅为0.08,且在干净流量上调用LLM的比例仅为0.4%。研究还指出,当独立验证通道本身存在噪声时,CAV的性能取决于被污染工具的数量:若两个以上工具被污染,CAV仍占优;若仅一个工具被污染,将验证通道作为额外投票者可能更有效。

事实层面,该论文已在WAITI 2026会议上被接收,核心结论是验证机制必须被测量和保护。推断层面,这意味着当前依赖多工具输出的Agent架构存在系统性风险,单纯增加工具数量而非增强验证逻辑可能导致更严重的决策失效。猜测层面,未来工业界部署此类系统时,可能需要引入独立的、非模型生成的验证通道来替代部分LLM推理,以应对工具层面的对抗性攻击。

来源:arXiv cs.CR · arxiv.org