Kolab 基准测试显示前沿模型难以理解人类专家与智能体的长周期协作模式

该论文发布 Kolab 数据集，包含 50 名来自 40 个职业的专业人士与 AI 智能体协作的真实屏幕录像及评估数据，旨在填补现有基准过度关注自动化而忽视人机协作的空白。研究发现，无论是代理型还是非代理型的前沿模型，都倾向于高估与专家的协作程度，且无法有效区分高质量与低质量的协作过程。

核心证据在于，现有自动化基准未能测试智能体在脱离对话窗口后预测专家是否会采纳、修改或拒绝其贡献的能力，也无法在不依赖持续反馈的情况下评估协作质量。实验表明，更长的上下文窗口并不能一致性地改善这些预测表现，说明当前模型尚未掌握长周期工作流中的协作机制。

事实层面，Kolab 提供了 115+ 小时的真实职业工作流数据；推断层面，这意味着单纯提升推理长度或单次任务成功率不足以解决真实场景中的协作问题；猜测层面，未来若要在专业领域落地，需重新设计评估体系以纳入动态协调与意图预测指标。