SlackBench 基于真实代码库评估 AI Agent 在协作项目中的跨源推理能力

SlackBench 是一个针对 AI Agent 在真实研究与工程工作流中表现的新基准测试，其核心在于评估智能体在处理分散于即时通讯、代码仓库及文档中的动态信息时的联合推理能力。该基准基于隐私保护的学术项目重演环境构建，包含 140 个查询任务，涵盖异构源搜索、无法回答问题的拒答、目标导向摘要及长对话情境推断，要求智能体不仅检索信息，还需判断对话相关性、遍历线程并整合代码变更证据。

测试覆盖了 33 个前沿模型和 Agent 框架，结果显示最佳系统得分约为 80%，而大多数智能体得分低于 66%。这一数据表明，尽管现有模型在静态问答上表现尚可，但在需要跨越沟通记录与代码状态进行复杂上下文恢复、冲突证据调和及多步决策的协作场景中仍存在显著性能缺口。测试环境特别强调了非静态语料库的特性，即信息随时间演变且分散在不同载体中。

事实层面，该数据集已公开，测试对象为 33 个系统，最高分 80%。推断层面，当前主流 Agent 架构在处理“数字同事”所需的长期记忆与多源协同方面尚未成熟，单纯提升单点模型能力不足以解决协作中的上下文断裂问题。猜测层面，若行业继续依赖合成数据或孤立任务评测，可能高估了 Agent 在实际工程落地中的可用性，未来研发需更关注跨模态状态同步机制。