SANE 提出自动化评分器特定元测试框架以解决 LLM 评估者可靠性问题

该论文提出 SANE 框架，用于对作为基准评估中介的 LLM 评估者（LLM judges）进行自动化、评分器特定的元测试。现有方法依赖人工编写的扰动配方和合成测试生成，难以针对特定评分器的行为特征自动推导测试用例。SANE 将随机评估器的行为需求编码为可重用的智能体指令，根据评分器规范自动生成扰动配方及预期的分数关系，并定义了独立的验证框架以确保生成的测试用例符合评分器意图。

在五个领域的实验中，SANE 生成的经过验证的测试家族数量是 Judge Reliability Harness (JRH) 的 3.7 倍，且在 JRH 未能检测到的专业性和毒性领域发现了评分器缺陷。在忠实度（faithfulness）方面，SANE 生成的测试套件对 11 个评估模型的排名与人类标注的 FaithBench 表现高度一致（Spearman rho = 0.852），而 JRH 的相关性仅为 0.100。这表明 SANE 能够更精准地捕捉不同评估者的细微偏差。

事实层面，SANE 在五个领域均检测到评分器缺陷，且其测试排名与人类标注的一致性显著优于 JRH。推断层面，这种自动化生成能力意味着未来评估工具库可以随着新评分器的加入而动态扩展测试覆盖范围，减少人工维护成本。猜测层面，若该框架被广泛采用，可能会推动行业从通用基准转向针对特定应用场景（如内容审核或合规检查）的定制化评估标准，但具体实施路径仍需观察开源生态的采纳情况。