七款大模型在数据科学项目迭代中表现差异显著

该研究评估了七个来自五家厂商的代理模型在完成端到端数据科学项目（下载、清洗、分析数据集并撰写论文）时的表现，重点考察反馈机制如何影响结果。在147次初始提交中，107次成功运行，经过三轮“写作-评分-修订”循环后，平均得分从59%提升至76%，但不同模型组合的提升幅度存在巨大差异。 具体数据显示，按写作方划分，Anthropic的Opus 5.5仅提升3个百分点，而Haiku 4.5提升46个百分点；按评分方划分，Google的Gemini 3.8 Flash提升13个百分点，Anthropic的Haiku 4.5提升32个百分点。研究发现，当模型对自己生成的内容进行评分时，得分通常比平均分高出约9个百分点，且约一半的轮次间差异源于评分模型自身的噪声。此外，即使没有反馈，仅凭修订机会或增加预算（时间或工具调用），部分模型也能获得显著提升，但并非所有模型都受益。 关键事实是：反馈循环的效果高度依赖于模型在写作和评分角色中的具体组合，且弱模型无法通过此机制增强强模型的表现。推断表明，当前代理工作流的稳定性受限于模型角色的特定匹配，而非通用的自我进化能力。猜测认为，这种不对称性可能反映了不同架构在处理复杂任务链时的内在局限性，需进一步验证其在真实商业场景中的适用性。