Hacker News · AI· guregodevo·· 3 小时前精选AI 评分80
Memdoor 复现五模型协作方案在 LiveCodeBench Hard 上以 9.8 分超越 Fable 5
Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard
AI 导读
作者基于 GVS5H 论文方法,使用 Memdoor 框架将五个 Qwen3.8-27B 模型(规划者、两个构思者、求解者、管理者及修复工)构建为纯文件交互的多智能体工作流,在 LiveCodeBench Hard 前十个问题上取得平均 9.8 分,优于单模型 Fable 5 的 8.0 分及原论文 Harness 的 9.6 分。该实验在 OpenRouter 上运行,15.3M 输出 Token 总成本为 35.79 美元,单次运行中位耗时 40 分钟,验证了特定提示词与文件账本机制在小参数模型上的协同效应。
关键细节显示,该工作流严格限制模型仅通过磁盘文件通信且每次调用拥有独立上下文,避免了传统聊天式交互的信息污染。测试发现两次失败源于管理者生成错误反例或未及时终止循环,但均被确认为可修复的逻辑漏洞而非架构缺陷。此外,实验暴露了不同后端提供商(Modal、CoreWeave、Wafer)在 FP8 精度下的性能差异,以及模型训练数据可能包含部分竞赛题目导致的潜在污染风险。
事实层面,该代码库已开源并支持本地部署与多模型切换;推断层面,这种低参数量的多智能体协作模式可能在特定编码场景下比单纯堆砌算力更具单位经济优势;猜测层面,若解决管理者逻辑漏洞,该方法在更广泛数据集上的表现可能进一步接近前沿模型水平。
推荐理由
通过复现多智能体工作流与成本拆解,校正对小模型在复杂编码任务中单位经济效率的判断。
来源:Hacker News · AI · github.com