Reddit · MachineLearning· /u/progenitor414·· 3 小时前AI 评分70
Station 框架通过监督与反思机制使 AI Agent 在开放科学发现中重现实验成果六成以上
[2610.08927] Can AI Agents Make Open-Ended Scientific Discovery? Evidence from Station
AI 摘要
该研究评估了 AI Agent 在开放世界环境 Station 中进行无明确指标的科学发现能力,结果显示引入 Supervisor 机制和周期性 Meta Reflection 后,Agent 平均能重新发现原始论文中 62.7% 的研究标准,显著优于 Codex Multiagent-v2 的 15.4% 和 AI Scientist-v2 的 14.4%-20.6%。
实验设计将 ICLR 近期口头报告转化为任务,向 Agent 提供研究问题但隐藏结果并禁用网络访问,以此测试其独立探索能力。行为分析表明,两种机制的结合提升了研究的覆盖率和连续性;在未提供参考论文的开放任务中,部分发现甚至与知识截止日期后的研究者成果高度吻合。
事实层面确认了特定环境架构能显著提升 Agent 的自主探索效率,推断出单纯依赖模型参数或微调不足以解决开放性问题,必须配合外部引导机制。猜测在于这种“环境即算法”的思路可能成为未来科研自动化系统的核心范式,但具体实施细节仍需更多跨领域验证。
来源:Reddit · MachineLearning · reddit.com