Hacker News · AI· lasu·· 6 小时前AI 评分42
Parsimony:开源基准评估 AI 模型添加的代码量
Show HN: Parsimony – an open-source benchmark for how much code AI models add
AI 摘要
Parsimony 是一个开源基准,通过计算语法单元净增量来衡量 AI 模型生成的代码量。该工具基于 SWE-bench Verified 的测试结果,统计语句、调用和比较等元素而非行数,并扣除删除的代码。目前仅支持 Python 语言,且所有模型均使用相同的 mini-SWE-agent 进行测试。
来源:Hacker News · AI · parsimony.lasu.dev