arXiv cs.AI· Jorge Garc\'ia-Carrasco, Sergio Garc\'ia-Carrasco, Alejandro Mat\'e, Juan Trujillo·· 9 天前AI 评分26
面向嵌入式软件开发的 LLM 智能体闭环评测基准
Closed-loop evaluation of LLM agents for embedded software development
AI 导读
研究者提出一个面向嵌入式编码智能体的闭环评测基准，包含五个嵌入式控制任务和四种反馈场景：一次性生成、真实自验证、CI 式红绿反馈与 oracle 式详细反馈，实现目标为可复现的模拟 ESP32 固件。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地被部署为编码智能体，用于编辑文件、运行构建与测试、检查执行结果，并迭代修复软件。嵌入式固件是一个要求苛刻的目标，因为其正确性取决于在感知、时序和安全约束下的闭环行为，而不仅仅是静态源代码质量。然而，嵌入式智能体的评估仍然有限，且往往侧重于一次性生成或离线正确性。
我们提出了一个用于嵌入式编码智能体闭环评估的基准。每个任务提供一份纯文本工程描述、受限工作区以及可见的构建与运行时界面。智能体必须将需求转化为实现与自验证步骤，然后迭代直到达到所需的设备行为。该套件包含五个嵌入式控制任务和四种反馈场景：一次性生成、真实自验证、CI 风格的红/绿反馈，以及 oracle 风格的详细反馈。
该实现以模拟 ESP32 固件为目标，以确保可复现性。我们在五个任务和四种场景下评估了七种 GPT 系列和 Qwen 系列配置，每种条件重复三次，共 420 次运行。gpt-5.4 在受评估配置中通过率最高，但并未使该基准饱和；qwen3.5-27B 是观察到的表现最强的本地模型；而较小的本地模型在通过率和搜索效率上急剧下降。这些结果表明，有能力的本地嵌入式编码智能体正在涌现。
| 评论： | 发表于 Journal of Systems Architecture 179 (2026) 103937。23 页，4 幅图，5 张表。代码与制品：this https URL |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；硬件架构（cs.AR）；机器学习（cs.LG） |
| ACM 分类： | D.2.5；I.2.7 |
| 引用为： | arXiv:2610.11447 [cs.SE] |
| （或本版本使用 arXiv:2610.11447v1 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2610.11447 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | J. Syst. Archit. 179 (2026) 103937 |
| 相关 DOI： | https://doi.org/10.1016/j.sysarc.2026.103937
链接到相关资源的 DOI |
提交历史
来自：Jorge García-Carrasco [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 08:02:10 UTC（59 KB）
来源：arXiv cs.AI · arxiv.org