跳到正文
原文
Hacker News · AI· lasu·· 6 小时前AI 评分42

Parsimony:开源基准评估 AI 模型添加的代码量

Show HN: Parsimony – an open-source benchmark for how much code AI models add

AI 摘要

Parsimony 是一个开源基准,通过计算语法单元净增量来衡量 AI 模型生成的代码量。该工具基于 SWE-bench Verified 的测试结果,统计语句、调用和比较等元素而非行数,并扣除删除的代码。目前仅支持 Python 语言,且所有模型均使用相同的 mini-SWE-agent 进行测试。

来源:Hacker News · AI · parsimony.lasu.dev