System One 决策模型在缺失法律依据时比生成式 LLM 更愿拒绝回答且成本更低

这篇 arXiv 论文测试了 System One 决策模型与六个生成式大语言模型在法律权威验证任务中的表现，发现当正确判例不存在时，生成式模型仍有 38% 至 86% 的概率强行选择一个选项，而最谨慎的决策模型该比例仅为 30%。

研究扩展了 CaseHOLD 数据集，将其中 1,670 个样本的正确判例替换为无效状态以模拟缺失法律依据的场景。在标准 CaseHOLD 基准上，决策模型的准确率（88.1%）与最佳生成式模型（88.2%）持平，但成本仅为后者的五十五分之一。此外，作者展示了无需标签即可将决策模型的校准概率蒸馏至 Qwen3-8B 模型中，从而构建出具备良好校准能力的本地化模型。

论文提出法律 AI 的评价标准应从单纯的准确率转向“错误引用率”，因为强制生成的幻觉引用在法律场景下危害更大。事实部分基于实验数据，推断部分认为低成本的本地化决策模型可能成为法律合规工具的主流架构，猜测部分涉及未来监管是否会将“拒绝回答权”纳入法律 AI 的合规要求。