仅需10对无害偏好数据即可通过DPO攻击削弱大模型安全对齐

该论文指出直接偏好优化（DPO）在微调过程中引入了一种更强且更难审计的安全失效模式：攻击者仅需使用10对完全无害的偏好数据（包含无害提示词、正常回答作为优选响应、拒绝回答作为次选响应），即可使模型在后续面对有害提示时拒绝率大幅下降。这种攻击在OpenAI支持DPO微调的模型上取得了显著效果，GPT-4o的攻击成功率达到59.13%，GPT-4.1为70.20%，GPT-4.1-nano高达81.73%，而成本仅为0.1至1.7美元不等。

与以往需要可疑行为的微调攻击不同，本研究所用的数据在外观上与合法用户希望减少过度拒绝的请求几乎无法区分，使得恶意意图极难从请求本身推断。实验显示，即使在不强制最小数据量的开源权重模型中，单个良性偏好对也能触发类似效应。这表明DPO机制本身在优化“有帮助性”时，会无差别地压制模型的拒绝行为，导致安全对齐被广泛削弱并迁移到训练数据之外的有害场景。

事实层面确认了DPO微调在特定数据构造下可被用于绕过安全限制；推断层面表明当前基于数据内容审核的微调防护机制存在根本性漏洞；猜测层面在于此类攻击是否会被大规模自动化利用以及厂商是否会调整DPO的默认策略或增加额外验证步骤。