Akka 测试基于规格的 AI 软件移植工作流

Akka 利用 65 个开源项目测试了基于规格的 AI 辅助软件移植工作流，结果显示 57 个项目在代码行数或性能方面实现了提升。该实验分两个阶段进行，首轮耗时 99.3 小时并消耗了 94.1 亿个令牌（tokens）。通过引入结构化规格说明和自动化验证，工作流覆盖了需求发现、规格定义、移植、基准测试和优化等全流程。 关键事实显示，不同模型在效率和成本上存在显著差异：Claude Sonnet 平均每项移植耗时 61 分钟，而 Claude Opus 则需 120 分钟，但 Opus 的 token 消耗量反而少了约 40%。这表明提高工作量设置并不能带来持续的效率提升，且较小的模型在严格遵循规范方面表现更佳。此外，性能表现因项目类型而异，如 Dify 提升了 143333 倍，而 Netflix Metaflow 则慢了约 100 倍。 推断认为，这种结果可能源于模型能力的不同而非单纯的工作量增加。猜测进一步指出，代码行数的减少可能部分源于死代码移除或目标语言差异，而非单纯的优化。验证工作采用了原始单元测试和集成测试，并由审核人员检查了序列化、安全性等多个方面。随着移植故障暴露出的新问题，Akka 增加了防护措施，但也指出额外的退出条件增加了移植成本。