跳到正文
原文
Hacker News · AI· rzk·· 2 小时前精选AI 评分82

GVS5H 框架让 Qwen3.8-27B 在 LiveCodeBench 上超越 Fable 5

Five Qwen3.8-27B models match Fable 5 Using GVS5H Harness

AI 导读

GitHub 项目 GVS5H 通过引入基于账本的零样本自编排方法,在 LiveCodeBench 最新 100 道难题上实现了显著的性能提升。该方法利用单个模型的多个实例分解问题并通过共享文件系统协调,无需训练即可将本地部署的 Qwen3.8-27B 准确率从 66.8% 提升至 92.4%,超越了 Fable 5 的 90.4%。

在成本结构上,使用 OpenRouter 服务的 Qwen3.8 Flash Next 版本仅花费了 Fable 5 约 9% 的成本即达到 93.0% 的 pass@1 成绩。该结果并非普遍适用,部分模型表现未变或下降,分析认为增益主要源于任务分解和持久上下文机制。测试环境需配置 uv、API 密钥及特定依赖库,支持多智能体与单调用基线对比。

事实层面,Qwen3.8-27B 经 GVS5H 编排后在 LiveCodeBench 上确实超越了 Fable 5;推断层面,这种推理时的组织方式可能成为降低编码类 AI 成本的关键路径;猜测层面,若其他厂商跟进类似架构,闭源模型在编码领域的护城河可能被削弱。

推荐理由

材料提供在 LiveCodeBench 上以 9% 成本超越 Fable 5 的实测数据,可校正对闭源模型编码能力绝对优势的判断。

来源:Hacker News · AI · github.com