arXiv cs.AI· Yibo Yang, Zerui Huang, Haomiao Yang, Zixia Wang·· 2 天前AI 评分65
MedConstBench 评测显示伦理宪法对 LLM 的影响因模型和维度而异且无通用最优解
MedConstBench: Benchmarking How Constitutions Steer LLMs in Medical Ethics
AI 摘要
该研究提出 MedConstBench 基准,将部署时的伦理宪法作为可控变量,基于 Beauchamp 的四原则评估大语言模型在医疗伦理中的行为。通过包含原创数据集 MedDilemma 和人工校准的多模型同行评审,作者系统分析了宪法如何引导模型行为。实验评估了十个开源 LLM 在四种不同宪法下的表现,发现宪法的效果是维度选择性的且依赖于具体模型,不存在普遍适用的最优宪法。
关键证据在于,不同模型在面对同一宪法时表现差异显著,且单一宪法无法在所有伦理维度上同时达到最佳状态。针对这一发现,作者提出了一个“不伤害”自适应选择器(do-no-harm adaptive selector),能够根据特定模型自动匹配最优宪法。该方案不仅达到了每模型oracle的性能水平,还保证了最坏情况下的性能下限,并能以低成本泛化到未见过的模型上。
事实层面,本研究证实了医疗场景下伦理约束并非模型的固定属性,而是可调节的变量;推断层面,这意味着在本地部署医疗 AI 时,不能直接套用通用的安全策略,必须建立模型特定的宪法适配机制;猜测层面,这种自适应选择器可能成为未来医疗 AI 合规部署的标准组件,但其在真实临床环境中的长期效果仍需验证。
来源:arXiv cs.AI · arxiv.org