提示注入检测校准与延迟决策实证研究

该研究对四种提示词注入检测方案进行了严格评估，发现尽管LLM judge在整体区分度上表现最佳（AUROC 0.897），但其原生概率输出并未优于事后校准的分类器分数，且温度缩放虽能改善校准却未提升区分能力。在将假阴性率目标设定为1%的严苛条件下，所有被评估的系统（包括Jev、Llama Prompt Guard 2及LLM judge）均需将超过91.8%的输入升级为人工审查或拦截，同时伴随极高的误报率。 这一结果直接挑战了当前依赖模型置信度分数进行自动化决策的行业假设。实验覆盖了47,611个保留样本，包含直接/间接注入、硬良性输入及分布偏移场景，证明在真实部署环境中，仅凭概率输出无法建立可靠的安全决策机制。这意味着现有的基于阈值的自动拦截系统在面对未见过的攻击模式时，要么漏报风险激增，要么因过度保守而瘫痪正常业务流。 事实层面，研究证实了概率校准与判别性能解耦，且高安全性目标必然导致高运营成本；推断层面，单纯升级检测模型架构无法解决根本问题，必须重新设计包含“允许-阻止-升级”三态策略的运营流程；猜测层面，未来安全系统可能需引入外部验证工具链而非仅依赖模型内部信号，但这需要进一步工程验证。