论文揭示指令微调数据选择器的效用劫持攻击及无标签防御机制

该研究首次系统性地揭示了针对面向效用的指令数据选择器的自适应供应商侧攻击，即“效用劫持”（utility-hijacking）。这种攻击通过构造特殊样本，使其在保持恶意载荷的同时符合选择器的评分标准，导致原本用于过滤有害数据的 top-k 选择机制反而集中了毒药数据。实验显示，该攻击在 Qwen2.5-7B 至 Qwen3-32B 等模型上，能将拒绝率从 0% 推高至 94%，不安全代码比例升至 56/90，且随着评分模型规模扩大，虚假事实注入强度增加达 7.04 倍。

攻击的核心难点在于平衡：优化样本以获取高分往往会洗掉其恶意载荷，而保留强载荷又会导致样本看起来价值低。作者提出的生成与重排（generate-and-rerank）流程，针对每个指令生成大量携带载荷的候选项，仅提交得分最高的幸存者。为应对此威胁，研究提出了 CONCERT 防御方案，该方案不需要内容检测器或毒药标签，而是通过标记那些被异常高频选择的供应商，并在相同预算下重新选择，仅保留两个不同选择器均排名靠前的记录。在 Qwen3-32B 上的测试表明，CONCERT 将代码类毒药的集中度从 6.67 倍降至 0 倍，事实类从 3.59 倍降至 0.67 倍，下游危害分别减少 100% 和 75%，且未影响模型能力。

事实层面，该论文证明了现有数据选择器存在被利用的安全漏洞，且 CONCERT 在特定基准上有效。推断层面，这意味着当前广泛采用的基于单一评分模型的数据清洗流程可能存在系统性风险，需引入多模型交叉验证机制。猜测层面，若行业普遍采用类似的高效选择器而不加防护，大规模微调后的模型可能在特定场景下出现隐蔽的拒答或错误知识传播，但这需要更多实际部署数据验证。