FrameBench-HPS揭示LLM建议受得失框架影响

该论文通过构建 FrameBench-HPS 基准测试发现，在医疗、金融、教育和法律等高风险领域，当大语言模型面对完全相同的概率信息但采用互补的得失（gain-loss）框架表述时，其推荐类别在 32.4% 的完整组别中发生了改变。这一现象表明，LLM 的输出不仅受内容影响，还显著受到不确定性表达方式的心理框架效应干扰，且这种偏差主要体现为不确定性的波动而非直接的建议反转。 研究团队基于 240 个高风险场景生成了 2,880 个提示词，并在七种不同的 LLM 上进行了验证。实验显示，即使经过对话式的改写或重复生成，这种框架效应依然稳健存在，且其幅度超过了普通重复生成的随机波动范围。进一步的人机评估确认了这种表述差异确实改变了用户对风险和直接性的感知。值得注意的是，概率规范化（probability canonicalization）被证明能显著降低模型对框架的敏感度，这为提升高风险决策支持的稳定性提供了具体的技术路径。 事实层面，该研究证实了概率表述形式会实质性改变 LLM 的高风险建议输出，且概率规范化是有效的缓解手段。推断层面，这意味着当前依赖自然语言描述不确定性的 AI 辅助决策系统存在系统性对齐风险，单纯优化模型参数可能不足以解决此类由输入表述引发的逻辑漂移。猜测层面，若行业不建立统一的概率表述标准，类似的法律或医疗咨询场景中可能出现因文案措辞微调而导致的合规性争议，但这需要后续针对具体行业的监管文件进行验证。