RubricAtlas：从专家报告挖掘深度研究评估标准

1. 12:00
   arXiv cs.AI

   RubricAtlas 从专家报告中挖掘类型级评估标准以评价深度研究智能体

   该论文提出 RubricAtlas 框架，旨在解决深度研究智能体（Deep research agents）输出评估中仅关注事实存在而忽略分析结构的问题。该方法从同一研究类型的不同对象专家报告中提取类型级分析需求，围绕 recurring analytical questions 组织详细检查点，为相关任务提供共享的分析标准而不预设答案。框架将二元检查点链接到报告段落，分别评估分析的完整性和论证的有效性。 基于 3,079 份中文金融研究报告构建的 RubricAtlas 覆盖了 99 种研究类型。实验显示，单篇参考报告仅覆盖其类型约一半的分析问题，且选择不同报告作为需求来源会改变评估分数和智能体排名。在十个智能体和两个评审管道上，检查点一致性达到 κ = 0.71，智能体排名一致性达到 Kendall τ = 0.87。受控删除测试显示受影响分析得分降低，而填充操作未产生可检测的分数提升。 事实层面：该框架基于特定数据集构建，实现了特定的评估指标一致性。推断层面：类型级标准能更有效地比较 Web 深度研究输出的分析完整性，且评估结果对参考报告的选择敏感。猜测层面：该方法是否适用于非金融领域或英文报告尚需验证，目前结论仅限于中文金融研报场景。

当前热度 9·可比范围峰值 9（10月28日 14:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。