arXiv cs.CL· Yunqi Liu, Peiyu Wang, Bingli Wang, Leo Luo, Xuanwu Song, Xudong Ma, Hongxin Li, Yaxin Du, Weicheng Gu, Fanglin Xu, Yi Xing, XiangLong Liu, Jujie He, Zhange Zhang, Huatong Song, Zhaoyi Li, Deyang Kong, Chuan Hao, Peihao Wu, Mingjie Tang, Ran Tao, Jian Yang, Wayne Xin Zhao, Bryan Dai·· 5 小时前AI 评分68
REALCLI 论文发布统一评估框架，显示前沿 CLI 智能体协作得分仅 37.6%
RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
AI 摘要
arXiv cs.CL 论文发布 REALCLI 基准，旨在解决现有评测假设用户指令固定或仅关注结果而忽略运行时协作质量的问题。该基准通过五维框架、22个子维度及51个交互场景模板，对 CLI 智能体的任务执行与人类协作质量进行统一评估。
实测数据显示，当前最先进配置的平均任务得分为49.2%，而在联合协作评分（J_collab）下峰值仅为37.6%。这种显著差距表明，模型在可引导性（steerability）、信任校准及安全边界管理方面存在严重短板，任务有效性并不等同于协作质量。论文提供了两种评估模式：REALCLI-EXEC 提供完整规格，而 REALCLI-COLLAB 引入脚本化用户以模拟渐进式信息传递、修正和授权决策。
事实层面，该基准已公开并包含具体评分数据；推断层面，这暗示单纯提升任务完成率不足以支撑复杂人机协作场景的落地；猜测层面，未来若无法突破协作维度的瓶颈，CLI Agent 在需要动态交互的工业级工作流中可能面临规模化应用障碍。
来源：arXiv cs.CL · arxiv.org