针对102篇文献的基准测试显示大语言模型无法替代专家进行科学综述的证据评估与综合

该研究构建了一个包含102篇关于西班牙气流天气模式文献的真实基准，评估了六款AI工具在发现、解读、综合和提出未来研究方向四个阶段的整体表现。结果显示，在没有机构图书馆访问权限的情况下，最佳单工具仅能识别42篇相关文献；而开启机构访问后，Codex的发现数量从42篇提升至82篇，Claude Code则从15篇跃升至79篇。这表明外部知识库接入是提升LLM在科学文献检索中召回率的决定性因素。

在深度处理环节，尽管三款工具在拥有完整PDF语料时能正确识别出所有18篇实质性讨论该主题的文献，但它们错误地将40%至79%的“提及”（passing mentions）判定为实质性内容。盲测显示，这些工具生成的综述虽然大体准确，但缺乏深刻洞察，且频繁出现无依据的主张、引文错误以及对共识程度的夸大。此外，所有工具提出的研究方向均过于宽泛，仅有两款触及了基准综述中已明确的核心问题。

事实层面，本研究证实了当前LLM在辅助文献发现方面具有价值，特别是在具备机构访问权限时；推断层面，这意味着单纯依赖通用API或本地部署的模型难以胜任严谨的科学综述工作，必须集成权威数据库接口；猜测层面，若未来模型能结合更严格的引文验证机制与领域专家反馈回路，或许能缓解幻觉问题，但目前尚不具备独立替代人类专家进行证据权重判断的能力。