arXiv cs.AI· Yiwei Chen, Amila Weerasinghe, Siddharth Biswal, Utkrisht Rajkumar, Olcay Boz, Taylor Berg-Kirkpatrick, Rose Yu·· 5 小时前AI 评分50
ACED-Bench 如何评估大语言模型智能体获取与行动因果证据的能力
ACED-Bench: Evaluating How LLM Agents Acquire and Act on Causal Evidence
AI 摘要
ACED-Bench 提出神经符号基准，通过分离可读科学表面与隐藏概率图模型来评估大语言模型智能体的因果推理能力。该基准包含 180 个任务的 ACED-CORE 排行榜和 150 题的 ACED-QUAL 资格检查，测试了七款当代模型及两款早期模型在实验设计与证据决策上的表现。结果显示可靠 AI 共科学家需显式支持实验设计、证据保留及停止机制。
来源：arXiv cs.AI · arxiv.org