arXiv cs.AI· Xilin Wei, Shengyuan Ding, Xinyu Fang, Tiancheng Gu, Yuchi Wang, Zhixun Li, Ziyu Liu, Yuhang Zang, Weixiang Yu, Cheng Lu, Chonggao Sun, Tong Zhou, Dahua Lin, Hang Zhang, Shuai Bai, Dayiheng Liu·· 14 小时前AI 评分38
Co-Design Bench：面向智能体模型的多模态协作编程评测基准
Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models
AI 导读
研究者推出 Co-Design Bench，一个从 26,314 个真实用户编程会话的 37,463 条去重查询中筛选出 273 个任务的无参考基准，含多模态编辑与仓库编辑两条赛道及 2,331 条隐藏专家验收标准。
正文 · AI 翻译
作者：Xilin Wei、Shengyuan Ding、Xinyu Fang、Tiancheng Gu、Yuchi Wang、Zhixun Li、Ziyu Liu、Yuhang Zang、Weixiang Yu、Cheng Lu、Chonggao Sun、Tong Zhou、Dahua Lin、Hang Zhang、Shuai Bai、Dayiheng Liu
摘要：评估人机协同设计需要检验编码智能体能否将真实用户的多模态请求转化为可运行的应用修订。我们推出 Co-Design Bench，这是一个无参考基准，包含 273 项任务，这些任务从 26,314 个真实用户编码会话中的 37,463 条去重查询中精选而来。其两个赛道——多模态编辑（ME）与仓库编辑（RE）——涵盖带可选图像、音频、视频或文档输入的局部编辑，以及协同的仓库修订。任务横跨三个能力维度：基于上下文的准确理解、UI 转换与功能实现。这些任务将规范化请求和可运行的编辑前应用与 2,331 条隐藏的专家编写的验收标准配对。我们的“先评判后反驳”协议利用源代码和浏览器证据对标准进行评分，用独立的 LLM 验证器对正面判定提出质疑，并在没有标准代码或目标截图的情况下审核视觉与交互方面的断言。在共享的智能体测试框架下，十个模型端点中最强的一个平均通过每项任务 69.9% 的标准，但仅完全满足 26.4% 的任务。在涉及三到四种变更类型的仓库编辑中，全部十个端点的标准完成率均低于涉及一到两种变更类型的仓库编辑。Co-Design Bench 提供了一个测试平台，用于研究在真实用户应用修订的智能体执行下，部分需求满足与完整任务成功之间的差距。
| 评论： | 项目页面：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35138 [cs.AI] |
| （或 arXiv:2610.35138v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35138 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xilin Wei [查看电子邮件]
[v1]
2026年10月26日星期一 10:10:21 UTC（3,846 KB）
来源：arXiv cs.AI · arxiv.org