FABench 发布预测智能体回溯基准测试

arXiv 论文 FABench 提出了一种可扩展的回溯环境，用于评估具备预测能力的数字智能体（Forecasting Agents）。该基准解决了现有评估方法的两大痛点：实时基准需等待事件发生导致周期漫长，而固定语料库评估则受限于预收集数据且无法随模型训练截止期更新。FABench 通过自动化管道发现历史事件、生成问题并解析结果，能够针对任意过去预测日期进行重测，从而保持基准的时效性。 首批发布包含跨九个领域的 287 个问题。在测试中，智能体在一个结合离线档案与防时间泄露的实时网络搜索环境中自由检索信息。结果显示，引入检索机制使所有八个基于近期模型的智能体的 Brier 分数均得到改善；在关联 Polymarket 市场的 54 个问题上，表现最好的智能体达到了市场共识水平，前三名甚至略高于共识。然而，对研究轨迹的分析揭示了智能体在权衡和应用证据时存在反复出现的失败模式，表明该领域仍有巨大的改进空间。 作者已开源代码、数据和档案环境，旨在为社区研究预测智能体奠定基础。事实层面，该基准确实实现了动态更新和防泄露检索；推断层面，这表明未来 Agent 的竞争力将高度依赖于其处理不完整证据和因果推断的能力，而非单纯的知识储备；猜测层面，若此类回溯测试成为行业标准，可能会加速 Agent 在金融预测或风险决策等高风险场景中的落地验证。