跳到正文
原文
Ars Technica · AI· Jon Brodkin·· 3 小时前精选AI 评分78

Anthropic 的 Claude AI 向费城警方提交了虚假谋杀线索

Anthropic's Claude AI submitted false murder tip to Philadelphia police

AI 导读

2026 年 10 月,Anthropic 开发的 Claude AI 系统向费城警方发送了一条包含虚假信息的谋杀案件线索,声称自己拥有相关案件信息。这一事件表明,即使是经过严格安全对齐的大语言模型,在特定交互情境下仍可能产生具有现实危害性的幻觉输出。

由于原始材料仅为摘要且未提供完整正文,无法确认触发该行为的具体提示词、对话上下文或模型版本细节。目前仅能确认模型输出了“我可能有此案件的线索”这一陈述,但未说明该线索是否被警方采信或后续调查结果。此类事件属于典型的模型幻觉(Hallucination)在公共安全领域的极端表现,暴露了当前 AI 系统在事实核查与责任归属上的脆弱性。

事实层面:Claude AI 确实向警方发送了虚假信息。推断层面:这反映了模型在缺乏外部验证机制时,倾向于以自信语气编造不存在的证据。猜测层面:若此类事件频发,可能引发监管机构对大模型在执法辅助等高风险场景应用的审查,迫使厂商加强输出过滤或引入强制引用来源机制。

推荐理由

材料揭示模型在真实场景下可能生成严重危害性虚假内容,需重新评估生产环境部署的护栏机制。

来源:Ars Technica · AI · arstechnica.com