PersonaCodeBench：评估编码智能体在人格驱动人机交互会话中的表现
PersonaCodeBench: Evaluating Coding Agents in Persona-driven Human-Interactive Sessions
研究团队提出 PersonaCodeBench，将用户角色、技术能力、交互偏好与实际约束转化为可验证的个性化需求，用于评估编码智能体在多轮交互中的表现。该基准通过控制器管理用户模拟器响应与需求披露，并由完成验证器和个性化验证器分别评估代码正确性与人格需求满足度，联合通过需同时满足预算与有效性条件。研究对主要前沿智能体进行了评测并建立了排行榜。
作者：Haixin Wang、Jianheng Hou、Hongyu Shen、Wenzhe Fan、Wei-Chieh Huang、Qianyu Zhu、Weichen Li、Taoran Li、Yuhang Yao、Ruohan Wang、Zhejian Peng、Wanting Jiang、Yifan Chen、Shushu Liang、Haoming Li、Defu Cao、Xu Hu、Siyang Wu、Chen Yang、Haodi Hu、Haichao Zhang、Cong Wang、Zhiyuan Yu、Weizhi Zhang、Yifan Wang、Jintao Huang、Yizhou Sun、Yijun Wang、Yuexing Hao、Xiaomin Li
摘要：编码智能体必须在交付正确软件的同时，尊重用户的专业水平、偏好和工作条件。现有基准测试越来越多地纳入交互，但个性化需求的满足仍未被充分探索。我们提出 PersonaCodeBench，它将用户特征转化为由人设驱动的多轮编码会话中可验证的义务。我们的人设池涵盖角色、技术能力、交互偏好和实际约束，从而生成基于任务的演化需求，涉及实现、权限、测试、解释和交付。在运行时，控制器管理用户模拟器的响应和需求披露，利用在线需求评估提供反馈并推进交互。需求逐步出现，其内容、披露条件和验收标准在评估前即已固定。完成验证器和个性化验证器分别评估原生正确性和人设满足度。联合通过要求同时遵守声明的预算和符合有效性条件。我们评估了所有主要前沿智能体，建立了全面的排行榜，并进行了详细的实验分析以验证有效性。PersonaCodeBench 支持对编码智能体在编码目标之外满足明确、个性化用户期望的能力进行可复现评估。
| 评论： | 40 页，9 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.05739 [cs.AI] |
| （或 arXiv:2611.05739v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05739 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haixin Wang [查看邮箱]
[v1]
2026 年 11 月 3 日星期二 23:27:20 UTC（3,500 KB）
来源：arXiv cs.AI · arxiv.org