GitHub 发布 ReviewBench 开源代码审查基准并公布多模型集成实验的离线预测结果

GitHub 正式发布 ReviewBench，这是一个基于 103.9M GitHub Pull Requests 分布构建的 AI 代码审查离线基准，包含 219 个跨 19 种语言的公开仓库 PR，旨在解决现有基准在标签质量、覆盖度与现实代表性之间的权衡问题。该基准采用多源金标集（人类评审、前沿 LLM、静态分析）并通过资深工程师独立验证，建立了 96.6% 的一致性标准，同时引入了 Grounded 和 Augmented 两类指标体系，允许对未在金标集中发现的问题进行独立判定并给予信用，从而避免随着系统能力提升而导致的评估惩罚。

核心机制细节在于其“增强召回率”（Augmented recall）的设计：当智能体发现金标集之外的有效问题时，这些发现会被纳入分母计算，而非被忽略或视为错误。此外，GitHub 内部利用 ReviewBench 对 Copilot Code Review (CCR) 的多模型集成实验进行了离线评估，结果显示离线信号与线上 A/B 测试高度一致：预测的精确度提升 8.0%、召回率提升 13.6%、评论量增加 61% 以及单次审查成本下降 8.0%，其中严重级别评论量的增长预测（227%）与线上实际观测值（262%）误差极小。事实层面确认了该基准能有效作为生产实验的前置信号，推断其可能成为行业通用的代码审查能力对比标准，猜测未来其他厂商将跟进类似的可扩展评估框架以证明自身 Agent 的泛化能力。

材料明确区分了 Grounded 指标用于严格横向对比已知问题，而 Augmented 指标用于诊断单系统的发现能力边界。这种设计直接回应了代码审查中“噪声”与“漏报”的长期矛盾，为开发者选择不同精度的审查工具提供了量化依据。所有数据、版本号及实验参数均源自原文披露，未引入外部假设。