arXiv cs.CL· Zeyu Liu, Sing Kwong Lai, Xuanzhi Feng, HaoYang Shang, Yang Li, Zihao Fang, Xuan Liu·· 4 小时前AI 评分73
AStockArena 基准发现金融 Agent 在真实交易中近七成决策存在证据或执行审计缺口
AStockArena: Beyond Returns, Can We Entrust Real Capital to the Decisions of Financial Agents?
AI 摘要
AStockArena 是一个针对中国 A 股市场的实时决策审计基准,旨在解决现有评估仅关注累计收益而忽视决策忠实度的问题。该研究在共享市场条件和执行约束下,对 13 个开源及闭源模型进行了 3,198 次连续决策的评估,通过重建报告、交易请求、执行响应与账户状态的一致性,识别出 72.99% 的交易点存在至少一个审计缺口。
证据不足(RK)是其中最普遍的缺陷类型,模型级缺口率分布在 52.2% 至 91.2% 之间。研究采用了包含执行可追溯性、证据充分性和金融元认知的八项检查,并结合记录验证与共识专家标注进行审计。历史交易过滤回放进一步显示,投资组合结果对这些被标记的缺陷交易高度敏感,说明单纯追求收益指标可能掩盖了严重的决策不可靠性。
事实层面,该基准证明了当前主流模型在将意图转化为可审计的执行动作时存在显著断裂;推断层面,这意味着依赖纯收益指标的 Agent 评估体系存在系统性盲区,无法反映资本委托的真实风险;猜测层面,未来金融 Agent 的落地可能需要引入类似“决策审计”的中间层机制,而非仅优化最终盈亏。
来源:arXiv cs.CL · arxiv.org