LLM科学文献综述测试：无法替代专家判断

该研究构建了一个包含102篇关于西班牙气流天气模式文献的真实基准，评估了六款AI工具在发现、解读、综合和提出未来研究方向四个阶段的整体表现。结果显示，在没有机构图书馆访问权限的情况下，最佳单工具仅能识别42篇相关文献；而开启机构访问后，Codex的发现数量从42篇提升至82篇，Claude Code则从15篇跃升至79篇。这表明外部知识库接入是提升LLM在科学文献检索中召回率的决定性因素。 在深度处理环节，尽管三款工具在拥有完整PDF语料时能正确识别出所有18篇实质性讨论该主题的文献，但它们错误地将40%至79%的“提及”（passing mentions）判定为实质性内容。盲测显示，这些工具生成的综述虽然大体准确，但缺乏深刻洞察，且频繁出现无依据的主张、引文错误以及对共识程度的夸大。此外，所有工具提出的研究方向均过于宽泛，仅有两款触及了基准综述中已明确的核心问题。 事实层面，本研究证实了当前LLM在辅助文献发现方面具有价值，特别是在具备机构访问权限时；推断层面，这意味着单纯依赖通用API或本地部署的模型难以胜任严谨的科学综述工作，必须集成权威数据库接口；猜测层面，若未来模型能结合更严格的引文验证机制与领域专家反馈回路，或许能缓解幻觉问题，但目前尚不具备独立替代人类专家进行证据权重判断的能力。