Allen AI 发布 Novelty Bench 基准测试显示 LLM 评估科研新颖性高度不稳定

Allen Institute for AI (Ai2) 发布 Novelty Bench 基准与配套数据集，旨在评估大语言模型作为“新颖性裁判”在区分科研想法原创性时的可靠性。测试覆盖 GPT-5.1、GPT-5.4、Claude Sonnet 4.5 等六款主流模型，结果显示评估结果对提示词极其敏感：仅修改提示词中的措辞，即可使模型识别两个想法中哪个更具新颖性的准确率从93.5%骤降至40.9%，甚至低于随机猜测水平。

该研究通过构建基于ICLR 2026同行评审数据的“人类原创”与“AI生成”对比池发现，模型在评估人类撰写的想法时表现相对稳定，但在面对AI生成的想法时极易产生分歧。此外，增加计算资源并未带来性能提升：配备高推理预算和实时搜索功能的Agentic智能体（GPT-5.6 Sol），其宏观F1分数为0.78，不仅落后于简单的Claude Opus 4.6基线（0.89），且单次决策成本高出约10倍。专门构建的文献检索系统Idea Novelty Checker和Sakana AI的AI Scientist在准确率上均不及简单的提示词基线，且成本分别高达$30.66和$82.05。

事实层面，当前LLM作为新颖性裁判存在严重的提示词依赖性和场景脆弱性，复杂的检索增强或推理机制无法保证更优的判断一致性。推断表明，依赖现有通用模型进行自动化科研选题筛选存在高风险，可能导致错误的方向过滤。猜测未来需要针对特定领域建立动态演进的评估基准，而非依赖通用的“开箱即用”方案。