arXiv cs.AI· William Huang, David Li, Xiang 'Anthony' Chen, Xun Qian, Nels Numan, Zhongyi Zhou, Hyunsung Cho, Salman Muin Kayser Chishti, Ding Xia, Xincheng Huang, Jiahao Ren, Faraz Faruqi, Tianyu Xu, Yang Zhang, David Kim, Ruofei Du·· 12 小时前AI 评分38
GenXR-Bench：首个面向交互式 XR 开发的编码智能体基准
GenXR-Bench: Benchmarking Coding Agents for Interactive XR Development
AI 导读
GenXR-Bench 是首个端到端评估编码智能体 XR 软件开发能力的基准，包含 112 个专家编写任务，覆盖 24 项功能实现、21 个 bug 修复和 67 个应用生成任务。其测试套件对 124 个候选应用与盲审专家判断的一致率达 96.5%，但在 10 个模型上最强配置的总体 Pass@1 仅 50.9%。失败分析显示模型反复误解异步传感器生命周期、物理接地和具身交互语义。
正文 · AI 翻译
作者：William Huang、David Li、Xiang 'Anthony' Chen、Xun Qian、Nels Numan、Zhongyi Zhou、Hyunsung Cho、Salman Muin Kayser Chishti、Ding Xia、Xincheng Huang、Jiahao Ren、Faraz Faruqi、Tianyu Xu、Yang Zhang、David Kim、Ruofei Du
摘要：编码智能体正迅速从单文件生成迈向长时程的仓库级工程，但对其编写交互式扩展现实（XR）应用能力的评估仍是一个未解难题。与传统软件不同，XR 应用运行于动态的三维物理环境中，其运行时鲁棒性同时取决于持续的用户运动、空间输入和环境感知。我们推出 GenXR-Bench，这是首个用于端到端评估编码智能体在 XR 软件开发中表现的基准。GenXR-Bench 包含 112 个由专家编写的任务，涵盖 24 项功能实现、21 项缺陷修复和 67 项应用生成任务。留出测试将脚本化交互与自适应交互同程序化断言和视觉断言相结合，以评估核心功能与运行时行为。GenXR-Bench 的测试套件在 124 个于消费级 XR 硬件上运行的候选应用上，与盲审专家判断相比达到 96.5% 的一致率。在 GenXR-Bench 上评估 10 个模型，我们发现最强配置的整体 Pass@1 仅为 50.9%。失败分析识别出在异步传感器生命周期、物理落地和具身交互语义方面反复出现的误解。GenXR-Bench 为在空间计算的交互性与物理情境化条件下评估编码智能体建立了一个可复现的测试平台。
| 评论： | 37 页，10 幅图。代码见 此 https URL |
| 主题： | 人工智能（cs.AI）；图形学（cs.GR）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.29014 [cs.AI] |
| （或 arXiv:2610.29014v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29014 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：William Huang [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 00:28:16 UTC（30,978 KB）
来源：arXiv cs.AI · arxiv.org