arXiv cs.AI· Haixin Wang, Jianheng Hou, Hongyu Shen, Wenzhe Fan, Wei-Chieh Huang, Qianyu Zhu, Weichen Li, Taoran Li, Yuhang Yao, Ruohan Wang, Zhejian Peng, Wanting Jiang, Yifan Chen, Shushu Liang, Haoming Li, Defu Cao, Xu Hu, Siyang Wu, Chen Yang, Haodi Hu, Haichao Zhang, Cong Wang, Zhiyuan Yu, Weizhi Zhang, Yifan Wang, Jintao Huang, Yizhou Sun, Yijun Wang, Yuexing Hao, Xiaomin Li·· 3 小时前AI 评分42
PersonaCodeBench 如何评估驱动角色的交互式编码智能体
PersonaCodeBench: Evaluating Coding Agents in Persona-driven Human-Interactive Sessions
AI 摘要
PersonaCodeBench 通过构建包含角色、技术能力与交互偏好的模拟用户池，将个性化需求转化为可验证的约束以评估编码智能体。该基准在运行时由控制器管理需求披露与反馈，并分别通过完成验证器和个性化验证器考核代码正确性与角色契合度。研究已对主流前沿智能体进行评测并建立综合排行榜，支持可复现的个性化期望达成能力评估。
来源：arXiv cs.AI · arxiv.org