提出基于执行验证的Agent智能合约合成评估方法

该研究通过执行回放而非主观评分的方式，量化了 AI 智能体在生成智能合约时意图丢失的程度，发现常见方法如 AI 裁判和标准分析工具会遗漏明显错误。研究团队构建了基于执行的评估体系，在 600 个任务上对比了 AI 生成的合约与独立编写的可执行答案键，证实仅检查函数存在性会掩盖约一半的差异。 核心证据显示，在三个不同 AI 模型测试中，生成前进行简短的需求澄清清单（elicitation-first）比事后审查或自动修复更能有效恢复被省略的行为细节。自动化安全修复往往破坏已请求的功能，而精心设计的提问能显著缩小描述与实现之间的差距，且其价值可在不依赖原始合约的情况下估算。 事实层面，这是首篇在智能合约合成领域收集生成前缺失需求并对照独立可执行模型的研究；推断层面，该机制适用于任何将自然语言请求转化为程序的 Agent 场景；猜测层面，若行业广泛采用此架构，可能改变当前“生成即交付”的默认流程，转向“确认-生成”模式以降低 Web3 应用部署风险。材料未提及具体模型名称及成本数据，仅强调方法论的有效性。