跳到正文
原文
Reddit · MachineLearning· /u/Pale-Training-6944·· 4 小时前AI 评分70

作者发布 Gear 框架作为 RSI 的 scikit-learn,实测 Luna 模型在营销任务上成本较 Astra 低 95%

I built a scikit-learn for RSI [P]

AI 摘要

作者基于强化学习与进化搜索中的采样、评估与多样性问题,构建了开源元学习框架 Gear,旨在成为 RSI(Reinforcement Search for Intelligence)领域的 scikit-learn,使 GEPA、RRSI 等方法的实现与对比更加便捷。该框架将搜索决策与执行评估分离,目前包含具备共享故障诊断和分阶段评估功能的 GEPA 变体。

在 GPT 5.6 Luna 模型保持中等推理努力下,Gear 优化的 DSH 在多个基准测试中表现优于基础版本:AutomationBench Marketing 通过率从 27.0% 提升至 40.0%,Terminal-Bench 从 2.1 提升至 52.8% 至 62.9%。在营销任务最大努力下,Luna 配合优化后的 Harness 达到 88.88% 的目标完成率,略高于 Astra + Codex 的 84.08%,但关键差异在于部分完成率的提升。更显著的发现是单位经济变化:在相同优化 DSH 和最大努力下,Luna 的单任务 API 成本平均为 0.0568 美元,而 Astra 为 1.1858 美元,成本降低 95.21%(不含优化与基础设施成本)。

事实层面,Gear 已开源并提交了相关论文,实测数据基于特定模型配置与基准。推断层面,该框架证明了通过元学习优化提示词、工具和上下文管理能显著改善 Agent 的搜索效率与成本控制,特别是在预算受限场景下。猜测层面,这种成本优势是否能在其他模型或更复杂的长程任务中复现尚需更多验证,且当前结果可能受限于特定的评估指标定义。

来源:Reddit · MachineLearning · reddit.com