arXiv cs.AI· Arsham Gholamzadeh Khoee, Ruyu Fu, Jiaqi Wei, Ruikun Deng, Robert Feldt, Dhasarathy Parthasarathy, Yinan Yu·· 14 小时前AI 评分34
Volvo Group 研究：通用 LLM 智能体框架 vs 自研框架，谁更适合车载 GUI 测试？
Build or Adopt? Custom-Built vs. General-Purpose LLM Agent Harnesses for Automotive GUI Testing
AI 导读
Volvo Group 对比了自研生产级智能体框架与通用框架 Claude Code、OpenCode 在 Android 车载信息娱乐系统 GUI 测试中的表现，工具经 MCP 接入、模型保持一致。
正文 · AI 翻译
摘要：随着通用 LLM 智能体框架日趋成熟，各组织必须决定是继续开发内部系统，还是采用现有替代方案。我们以 Volvo Group 针对基于 Android 的车载信息娱乐（IVI）系统进行 GUI 测试为背景研究这一决策。我们将一个生产环境中的定制框架与两个通用框架 Claude Code 和 OpenCode 进行比较，保持通过模型上下文协议（MCP）访问的工具以及模型不变。我们在 Volvo 的 IVI 测试用例以及公共应用（Google Maps、this http URL）中的开放式任务上，用最多四种模型评估这些框架，并访谈了十位从业者：开发者、产品负责人和测试人员。在 Volvo 的分步 IVI 测试中，通用框架在成功率上与定制框架相当，但不同运行之间的波动更大。它们每任务的推理成本高出 2.6-10.7 倍，但所节省的工程投入超过了这一成本：对于夜间 IVI 回归测试套件，包括工程投入和推理在内的每月总成本低 3-66%。在开放式公共应用任务上，它们成功率更高，主要原因是它们能更好地从错误操作中恢复。访谈表明，即使内部框架本身没有退化，外部进展也可能使其变成技术债务。采用通用框架将维护工作从智能体循环转移到工具和指令上，但团队对模型接收内容的控制力会减弱。无论采用哪种框架，测试人员都希望检查智能体的操作，并确保其遵循规定的测试场景。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.33636 [cs.SE] |
| （或 arXiv:2610.33636v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33636 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Arsham Gholamzadeh Khoee [查看电子邮件]
[v1]
2026年10月24日星期六 12:32:16 UTC（259 KB）
来源：arXiv cs.AI · arxiv.org