NewsBench发布专家校准AI新闻评估基准

该论文发布 NewsBench，一个基于资深新闻、政策与情报分析从业者制定的编辑标准构建的评估基准，旨在解决现有评估过度依赖意识形态对齐或非专家标注导致的校准失效问题。NewsBench 通过两阶段流程运作：首先由领域专家定义并校准评估指南，随后将这些指南转移给经过专家金标验证的自动化 AI 裁判，从而在可扩展的同时保持评估的专业性。 基准包含约 3000 个评估提示词，其中每月更新约 500 个以捕捉新兴时事，另有约 2500 项人工专家标注数据用于校准和验证。研究不仅报告了人类专家间的评分者间信度及 AI 裁判与人类的一致性，还应用该基准测试了四个前沿模型，揭示了它们在信息来源、事实准确性和中立性三个维度上存在 distinct（不同且不重叠）的失败模式。 这一方法将评估焦点从抽象的政治正确转向具体的新闻生产规范，为判断模型在处理敏感时事时的可靠性提供了更严谨的机制。事实层面确认了基准的规模与构成；推断层面认为该基准可能成为衡量模型在复杂现实世界任务中表现的新标准；猜测层面在于其是否会被主流评测体系采纳，目前尚无证据表明其他机构已跟进此特定方法论。