RubricAtlas 从专家报告中挖掘类型级评估标准以评价深度研究智能体

该论文提出 RubricAtlas 框架，旨在解决深度研究智能体（Deep research agents）输出评估中仅关注事实存在而忽略分析结构的问题。该方法从同一研究类型的不同对象专家报告中提取类型级分析需求，围绕 recurring analytical questions 组织详细检查点，为相关任务提供共享的分析标准而不预设答案。框架将二元检查点链接到报告段落，分别评估分析的完整性和论证的有效性。

基于 3,079 份中文金融研究报告构建的 RubricAtlas 覆盖了 99 种研究类型。实验显示，单篇参考报告仅覆盖其类型约一半的分析问题，且选择不同报告作为需求来源会改变评估分数和智能体排名。在十个智能体和两个评审管道上，检查点一致性达到 κ = 0.71，智能体排名一致性达到 Kendall τ = 0.87。受控删除测试显示受影响分析得分降低，而填充操作未产生可检测的分数提升。

事实层面：该框架基于特定数据集构建，实现了特定的评估指标一致性。推断层面：类型级标准能更有效地比较 Web 深度研究输出的分析完整性，且评估结果对参考报告的选择敏感。猜测层面：该方法是否适用于非金融领域或英文报告尚需验证，目前结论仅限于中文金融研报场景。