arXiv cs.CL· Junwei Yao, Zike Yang, Yongxi Zhou, Yanxian Chen, Jianan Liu, Jiaxi Wen, Zhijun Wang·· 3 小时前精选AI 评分78
DeepSeek V4.1 Flash等模型在相似案例中受判决标签与事实影响的反向偏移
Precedent Labels and Facts Shift LLM Approval Decisions in Opposite Directions
AI 导读
该研究通过分离历史案例中的“事实”与“记录判决”，发现两者对大语言模型审批决策产生方向相反的显著影响。在DeepSeek V4.1 Flash、GPT-5.6 Luna和Claude Haiku 5.5上，当将接近请求的案例判决从DENY切换为APPROVE时，批准率提升30至55个百分点；而仅展示支持批准的案例事实（无判决）时，模型反而比展示支持拒绝的事实更倾向于拒绝。
实验选取了DeepSeek V4.1 Flash在四次尝试中有时批准有时拒绝的“边缘案例”。结果显示，判决标签的切换在九项公共政策测试中同样生效，幅度达9至43个百分点；而事实的影响在人类标注员判定为可批准或不可批准的请求上大小相近，表明这不是简单的向正确答案修正。当案例来自不同请求时，判决切换效应降至9点，但事实支持批准仍使批准率降低22点。
这一机制表明，基于检索过去案例的系统若未区分事实与判决的权重，可能引入系统性偏差。事实部分可能因对比效应削弱当前请求的强度，而非提供正向证据。推断：单纯增加相似案例数量未必提升决策质量，需独立校准事实检索与判决模板的输入策略。猜测：这种反向效应在复杂合规场景下可能导致模型过度保守，具体影响程度取决于案例库的构建方式。
推荐理由
揭示检索式决策中事实与判决的相反影响，校正对RAG对齐效果的单一假设。
来源：arXiv cs.CL · arxiv.org