基于全球公民价值观的LLM安全对齐新方法

该论文指出当前大语言模型的安全对齐方法主要针对显式恶意请求，难以识别由用户多元化人设（personas）引发的隐性危害，导致模型要么拒绝合理的价值表达，要么盲目服从不安全的人设。作者构建了包含1.1万个争议话题与施瓦茨价值观调查维度映射人设的数据集，通过代理管道迭代优化，成功从已对齐的商业大语言模型中收集到超过47%的成功率有害响应。 为解决这一问题，研究采用联合国教科文组织（UNESCO）的全球公民原则作为区分有效价值表达与有害行为的最低共同标准，并提出一种可控对齐模型。该模型允许用户在推理阶段平衡人设遵循度与安全性，实验结果显示其在大多数样本上比基线模型更安全且更能保持人设一致性。 事实层面，本研究确认了现有基准测试在人设场景下的覆盖不足，并验证了引入外部普世原则进行微调的有效性。推断层面，这意味着未来产品若需支持高度个性化的用户角色或文化背景，必须超越传统的对抗性防御机制，转向更细粒度的推理时控制。猜测层面，这种基于全球原则的对齐方式可能在不同文化语境下引发新的解释冲突，需要进一步实证检验其跨文化适用性。