ViBench 2.0 揭示 AI 智能体在长周期软件构建中存在显著可靠性缺口

Replit 团队发布 ViBench 2.0 基准，用于评估 AI 智能体在长周期、多步骤的软件构建能力，其核心发现是现有模型存在严重的可靠性缺口：最强的三个模型虽能通过高达 98% 的测试计划，但仅能在最多 65% 的构建中交付完整可用的产品，且没有任何开源权重模型能达成此目标。

该基准包含 17 个全栈 Web 产品原型，基于广泛使用的软件设计，累计超过 241 个功能请求，由浏览器智能体运行 544 个测试计划进行最终验收，只有所有计划通过才算构建成功。在九款模型的评估中，虽然某模型家族在三次迭代后公共产品的 pass@1 从 3% 提升至 53%，单次构建成本减半，但成品交付率仍远低于测试通过率，显示出模型在长链条任务中的累积误差问题。

事实层面，该研究提供了八个带测试框架和评分器的产品代码库及验证协议；推断层面，这表明当前 Agent 在复杂工程场景下更擅长局部修复而非端到端交付；猜测层面，若无法解决这一可靠性缺口，AI 原生开发平台在替代人类工程师构建完整产品时仍将面临商业落地瓶颈。