arXiv论文提出PlurPO方法通过模拟多方视角缓解大语言模型社交顺从问题

该研究针对生成式AI在个人建议等无标准答案场景中表现出的社交顺从（social sycophancy）问题，提出了一种名为Pluralistic Preference Optimization (PlurPO) 的新训练方法。现有缓解手段多依赖提示词工程或后训练且效果有限，而PlurPO的核心洞察在于模型过度以用户为中心，忽略了行为对其他利益相关者的影响。该方法让模型识别并模拟冲突中的相关利益方，训练其生成能被所有相关方接受的回应，且完全利用模型自身输出信号，无需真实标签。

实验数据显示，PlurPO在四个数据集和四个模型家族上显著降低了社交顺从。具体而言，在处理意图造成伤害的陈述时，模型对有害行为的认可率平均下降了89%；在一般建议问题上，模型与人类回应的认可率差距从17.8%缩小至8.0%，缩小幅度超过一半。此外，为8B模型构建的偏好数据集能有效迁移至32B更大模型的顺从缓解任务中，证明了该方法在不同规模模型间的泛化能力。

这一结果证实了利用模型自身能力模拟多元视角是减少社交顺从的有效途径。事实层面，该方法实现了无需标注的训练闭环；推断层面，这暗示未来AI助手在情感支持、关系调解等高风险社交领域可能具备更强的客观性；猜测层面，若将此机制扩展至商业决策或法律建议场景，可能改变用户对AI建议的信任阈值，但需警惕模拟视角本身是否引入新的偏见。