斯坦福研究：44%的LLM经典结论已失效
先了解这件事
2026年11月4日，斯坦福大学研究人员Owen Queen和James Zou发布实证研究，测试了20个由八家开发者在2024年7月至2026年9月间发布的模型。研究发现，50个广泛引用的声明中有44%已“过期”，平均寿命仅为15.7个月。结果显示仅16%的结论仍然成立，另有34%显著减弱。具体细节显示，“模型不能做什么”的声明失效最快，特别是涉及计数字母、陌生进制算术等推理相关发现。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- The Decoder精选斯坦福研究发现 44% 的 LLM 研究结论已过期，DeepSeek V4 Pro 表现优于 GPT-6.1 Sol
斯坦福大学研究人员 Owen Queen 和 James Zou 针对大语言模型发布了实证研究，发现 50 个广泛引用的声明中有 44% 已经“过期”，平均寿命仅为 15.7 个月。该研究测试了 20 个由八家不同开发者在 2024 年 7 月至 2026 年 9 月间发布的模型，结果显示仅 16% 的结论仍然成立，另有 34% 显著减弱。 具体细节显示，“模型不能做什么”的声明失效最快，特别是涉及计数字母、陌生进制算术等推理相关发现全部失效。在幻觉方面，GPT-6.1 Sol 和 Claude Sonnet 5.5 的科学引用伪造率降至接近零，但 Qwen3.7-Flash 在同一测试中仍高达 69%。更值得注意的是，同一发布窗口内的模型表现差异巨大：DeepSeek V4 Pro 仅有 11 项结论过期，而 GPT-6.1 Sol 则有 30 项过期，表明发布日期或模型大小无法可靠预测结果。 事实层面，研究证实了特定模型在特定时间点的行为具有时效性；推断层面，这意味着当前许多关于模型能力的通用结论可能不再适用；猜测层面，如果研究者不更新基准测试，行业对模型能力的信任可能会建立在过时的数据之上。
本事件热度走势
当前热度 9·可比范围峰值 10（11月4日 05:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。