Coding-Agent基准测试揭示规范与实现缺口

1. 12:00
   arXiv cs.CL

   Coding-Agent 基准测试存在规范与测试oracle之间的隐藏依赖缺口

   该研究指出当前 Coding-Agent 基准测试普遍存在“规范-Oracle 缺口”，即任务描述仅用自然语言说明需求，但评分测试却依赖上游项目中未声明的常量名、模块路径或精确消息。这种缺口导致模型实际上被要求复现上游实现细节而非解决通用问题。作者构建了静态审计工具，在五种编程语言中对 SWE-Milestone 等五个基准进行测试级依赖分类，发现 98 个里程碑中有 25 个包含此类未声明依赖，且持有这些依赖的构建单元失败率高达 80.6%，远高于无依赖单元的 48.4%。 证据显示，若从参考实现中移除单个隐藏名称，128 个案例中有 126 个会导致单元测试无法编译。尽管排行榜排名对移除受影响测试具有鲁棒性，但这些测试会显著改变仓库内部的分数分布，并偏向于能够复现上游命名约定的智能体。此外，缺口 prevalence 与任务构建方式强相关：当任务基于发布说明或 LLM 摘要生成时，超过三分之一受此影响；而任务若经过筛选或专为测试编写，则几乎不存在该问题。 事实层面，本研究确认了现有基准测试中存在大量隐性知识依赖，且这种依赖直接拉高了特定场景下的通过率。推断层面，这意味着当前许多高分 Agent 可能并未真正掌握代码理解能力，而是记住了特定项目的内部约定。猜测层面，未来基准设计需引入显式规范过滤机制或增加补充文档（specification addenda），否则评估结果将持续反映模型对特定项目历史的记忆而非通用推理能力。

当前热度 9·可比范围峰值 9（10月23日 14:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。