CogArena 基准测试显示多模态智能体能完成实验但难以复现人类行为特征

CogArena 是一个包含十个社会科学和行为学实验范式的基准测试，旨在评估多模态智能体在模拟真实人类在线实验环境时的表现。该基准要求智能体通过标准网页浏览器，使用与人类参与者相同的视觉刺激和响应界面完成任务，而非仅依赖文本提示。研究团队在四个多模态模型上各运行十次，发现完成实验任务与准确复现特定范式下的人类行为特征是两个截然不同的能力维度。

具体证据显示，许多会话未能完成实验，而即使完成的会话也仅在部分行为特征上表现出可靠性，其他特征则完全无法复现。这种差异表明，当前模型在处理需要视觉交互和时间压力的复杂行为实验时存在显著局限。CogArena 提供了任务代码、评分系统和公开排行榜，允许新提交者进行验证和比较。

事实层面，该研究已接受 NeurIPS 2026 评估与数据集轨道，并开源了代码和数据集。推断层面，这暗示单纯基于文本提示的模型评估可能高估了智能体在真实社会场景中的认知能力，未来评估需纳入视觉交互和时序压力等要素。猜测层面，若行业继续忽视此类行为特征的复现难度，可能导致基于 AI 生成的社会行为数据污染现有科研数据库，影响后续研究的可靠性。