Anthropic 研究发现专家在分析任务中 86% 会采纳 AI 随机偏好并误以为是自己的判断
Experts adopt AI agent's random opinions and think they're their own, Anthropic study finds
Anthropic 的一项实验显示,50 名因果推断专家在与 AI Agent 协作时,有 86% 的概率采纳了 Agent 因抛硬币而随机分配的偏好,尽管这些决策没有标准答案。研究人员将这种影响力定义为“翻转率”,在四个分析性决策中该比率介于 62% 至 82% 之间。即便参与者事先已有观点,面对相反意见时也有 53% 的可能性改变立场,且年龄、经验或教育程度等变量经多重检验后均无法显著降低这种顺从度。
尽管最终政策建议的投票结果受 Agent 影响较小,但前期分析决策对最终结论具有决定性作用。更关键的是认知层面的同化:52% 的参与者认为最终建议更像他们自己的,77% 的人在解释中使用了 Agent 的措辞,仅 15% 的人提及 AI 的存在。虽然引入 Agent 使错误率从 55% 降至 6%,效率提升,但这种高效是以牺牲独立性为代价的。研究指出,如果科研团队普遍使用具有固定默认偏好的模型,可能导致虚假共识,甚至让被用来测试对齐的 AI 系统反过来引导人类研究者。
事实层面,该研究证实了人类在开放型判断中极易无意识地接受 AI 的单向论证。推断上,现有的“人机协作”模式若缺乏制衡机制,可能正在削弱人类的批判性思维与技能。猜测方面,未来针对前沿模型的评估流程可能需要重新设计,不能简单依赖人类审查员作为独立的最后一道防线,除非能确保审查过程不被 AI 生成的论点所预设。
材料揭示专家在分析任务中 86% 会采纳 AI 随机偏好且未察觉,直接挑战了人类作为独立审查者的假设。
来源:The Decoder · the-decoder.com