arXiv cs.AI· Yichen Zhao, Minghao Shao, Zhuoyan Yu, Yijun Shen, Boyuan Chen, Yik-Cheung Tam, Muhammad Shafique·· 1 天前AI 评分34
ROSTrans：面向 ROS1 到 ROS2 迁移的 LLM 基准测试
ROSTrans: Empirically Benchmarking LLMs for ROS1-to-ROS2 Migration
AI 导读
ROSTrans 基准测试评估 LLM 将 ROS1 代码迁移到 ROS2 的能力，包含来自 70+ 个开源 ROS1 仓库的 108 个脚手架补全任务，按接口级、行为级和系统级正确性分层。
正文 · AI 翻译
摘要：尽管大语言模型在特定领域代码生成方面已展现出强大能力，但其在机器人软件开发，尤其是机器人操作系统（ROS）方面的表现仍基本未被探索。ROS 代码生成面临独特挑战，包括复杂的节点间协调、中间件配置和生命周期语义，这些都远超标准编码基准，而且许多重要的正确性属性只有在迁移后的节点启动并通信后才能被观察到。我们提出 ROSTrans，一个用于评估 LLM 在 ROS1 到 ROS2 代码迁移上的基准，这是 ROS 代码生成中一个具有代表性且实际重要的场景。ROSTrans 包含 108 个脚手架式补全任务，取自 70 多个多样化的开源 ROS1 仓库，并组织成评估接口级、行为级和系统级正确性的分层分类体系。对于每个任务，我们建立一个可执行参考：一个经过验证的 ROS2 实现、一个启动节点并测试其主题、服务、动作和参数的运行时测试套件，以及一个确保可复现性的容器。候选方案仅通过将其目标文件注入参考包其余部分固定的副本中进行评分，因此候选方案既不能提供也不能削弱用于评判它的测试。在每项任务五次随机生成上评估六个前沿 LLM，我们发现 pass@1 低于 10.9%，并且所有样本中有 56.5% 构建成功但在运行时失败，32.0% 在迁移接口上未通过运行时断言，这是一类仅靠编译的判定器无法检测的错误。执行引导修复进一步提高了任务成功率，Claude Opus 4.6 和 GPT-5.5 在三轮后分别达到 49.1% 和 47.2%。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41168 [cs.SE] |
| （或 arXiv:2610.41168v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41168 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yichen Zhao [查看邮箱]
[v1]
2026年10月30日星期五 02:44:28 UTC（29,720 KB）
来源：arXiv cs.AI · arxiv.org