CogArena 多模态 Agent 基准发布:任务完成与人类行为复现存在差异
先了解这件事
2026年10月28日,研究团队在arXiv上发布了CogArena基准测试。该基准包含十个社会科学和行为学实验范式,要求多模态智能体通过标准网页浏览器,利用视觉刺激和响应界面完成任务,而非仅依赖文本提示。团队在四个模型上各运行十次后发现,完成实验任务与准确复现特定范式下的人类行为特征是两个截然不同的能力维度。证据显示,许多会话未能完成实验,且即使完成的会话也仅在部分行为特征上表现出可靠性。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv cs.AICogArena 基准测试显示多模态智能体能完成实验但难以复现人类行为特征
CogArena 是一个包含十个社会科学和行为学实验范式的基准测试,旨在评估多模态智能体在模拟真实人类在线实验环境时的表现。该基准要求智能体通过标准网页浏览器,使用与人类参与者相同的视觉刺激和响应界面完成任务,而非仅依赖文本提示。研究团队在四个多模态模型上各运行十次,发现完成实验任务与准确复现特定范式下的人类行为特征是两个截然不同的能力维度。 具体证据显示,许多会话未能完成实验,而即使完成的会话也仅在部分行为特征上表现出可靠性,其他特征则完全无法复现。这种差异表明,当前模型在处理需要视觉交互和时间压力的复杂行为实验时存在显著局限。CogArena 提供了任务代码、评分系统和公开排行榜,允许新提交者进行验证和比较。 事实层面,该研究已接受 NeurIPS 2026 评估与数据集轨道,并开源了代码和数据集。推断层面,这暗示单纯基于文本提示的模型评估可能高估了智能体在真实社会场景中的认知能力,未来评估需纳入视觉交互和时序压力等要素。猜测层面,若行业继续忽视此类行为特征的复现难度,可能导致基于 AI 生成的社会行为数据污染现有科研数据库,影响后续研究的可靠性。
本事件热度走势
当前热度 9·可比范围峰值 9(10月28日 14:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。