arXiv cs.CL· Yufan Zhu, Yangfan Jiang, Yang Fei, Shizheng Hou, Shubhankar Mohapatra, Xiaokui Xiao·· 5 小时前AI 评分68
QuasiLeak-Bench 评测显示隐私检测器难以识别组合式弱标识符且小模型经微调可超越提示工程
QuasiLeak-Bench: Evaluating LLM-Based Privacy Detectors on Policy-Conditioned Quasi-Evidence Group Recovery
AI 摘要
这篇论文提出了 QuasiLeak-Bench 基准，专门评估大语言模型基于策略的条件化准证据组恢复能力，填补了现有隐私基准仅关注显式标识符或属性推断的空白。实验表明，现有的隐私检测器在该基准上表现不佳，尤其是本地部署的 LLM 检测器因无法完整识别准证据组而大幅落后于专有模型。
关键事实细节在于其构建方法：通过逆向构造流程选择孤立的弱准标识符，将其组合成能共同揭示目标属性的准证据组，并围绕这些证据生成文档以获取大规模可靠的地面真值。测试结果显示，一个在训练集上微调过的 4B 模型在保留文档上的表现超过了最强的提示模型，证明了该任务具有可学习性。
这一发现对 AI 安全领域有直接推论：当前依赖通用提示或预训练权重的隐私检测机制存在系统性盲区，即无法处理“弱标识符组合”这种隐蔽泄露路径。事实是微调小模型能显著提升检测率；推断是未来隐私防护需从单一特征检测转向组合模式识别；猜测是若缺乏此类针对性数据，开源生态中的轻量级隐私工具可能长期无法达到商业级标准。
来源：arXiv cs.CL · arxiv.org