斯坦福研究发现 44% 的 LLM 研究结论已过期，DeepSeek V4 Pro 表现优于 GPT-6.1 Sol

斯坦福大学研究人员 Owen Queen 和 James Zou 针对大语言模型发布了实证研究，发现 50 个广泛引用的声明中有 44% 已经“过期”，平均寿命仅为 15.7 个月。该研究测试了 20 个由八家不同开发者在 2024 年 7 月至 2026 年 9 月间发布的模型，结果显示仅 16% 的结论仍然成立，另有 34% 显著减弱。

具体细节显示，“模型不能做什么”的声明失效最快，特别是涉及计数字母、陌生进制算术等推理相关发现全部失效。在幻觉方面，GPT-6.1 Sol 和 Claude Sonnet 5.5 的科学引用伪造率降至接近零，但 Qwen3.7-Flash 在同一测试中仍高达 69%。更值得注意的是，同一发布窗口内的模型表现差异巨大：DeepSeek V4 Pro 仅有 11 项结论过期，而 GPT-6.1 Sol 则有 30 项过期，表明发布日期或模型大小无法可靠预测结果。

事实层面，研究证实了特定模型在特定时间点的行为具有时效性；推断层面，这意味着当前许多关于模型能力的通用结论可能不再适用；猜测层面，如果研究者不更新基准测试，行业对模型能力的信任可能会建立在过时的数据之上。