arXiv cs.AI· Wenqian Zhang, Yangyi Huang, Weiyang Liu, Zhen Liu·· 3 天前AI 评分30
用 LLM 做程序合成：BesiegeField 基准测试组合式机械设计
Compositional Machine Design as Program Synthesis with LLMs
AI 导读
研究者提出"组合式机械设计"，将机器写成组合标准化部件的程序，并以模拟物理行为判定成败，同时发布基于游戏 Besiege 的测试平台 BesiegeField。在单智能体生成、迭代编辑和分层工作流下，强模型能恢复任务相关结构，但在空间精确装配与机制级规划上仍吃力。团队用模拟奖励对开源模型 Qwen2.5-14B 做强化学习微调，固定生成预算下最佳机器得到改善。
正文 · AI 翻译
摘要：大型语言模型（LLM）在编写和修改程序方面展现出强大能力，但许多程序合成基准仍在符号或数字环境中评估程序。我们提出组合式机械设计，这是一种具有物理基础的程序合成形式，其中机器被编写为组合标准化部件的程序，成功与否由模拟的物理行为决定。为研究这一问题，我们提出 BesiegeField，一个基于机械建造游戏 Besiege 构建的测试平台。在 BesiegeField 中，LLM 智能体根据文本功能需求生成机器程序，在模拟中执行所得机器，并接收奖励和状态反馈。我们在单智能体生成、迭代编辑和分层工作流下，对 LLM 智能体在代表性机械设计任务上进行基准测试。强大的模型能够恢复与任务相关的结构，有时还能实现非平凡的物理性能，但往往在空间精确装配、机构级规划以及将反馈转化为有用结构编辑方面遇到困难。我们进一步对开源 LLM Qwen2.5-14B 进行微调，使用来自模拟奖励的强化学习。我们发现，在固定生成预算下，RL 改进了所发现的最佳机器。我们还评估了人类表现，为任务难度提供参考点。这些结果确立了组合式机械设计作为一个测试平台，用于研究能够合成可执行机器程序并通过物理反馈改进它们的 LLM 智能体。
| 评论： | 75 页，44 幅图，项目页面：this https URL，已被 EMNLP 2026 主会议接收（Oral） |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；图形学（cs.GR）；机器学习（cs.LG） |
| 引用为： | arXiv:2510.14980 [cs.AI] |
| （或 arXiv:2510.14980v4 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2510.14980 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Zhen Liu [查看邮箱]
[v1]
2025 年 10 月 16 日星期四 17:59:58 UTC（27,792 KB）
[v2]
2025 年 10 月 19 日星期日 05:35:03 UTC（23,882 KB）
[v3]
2026 年 9 月 1 日星期二 06:03:40 UTC（27,235 KB）
[v4]
2026 年 10 月 11 日星期日 15:51:38 UTC（27,234 KB）
来源：arXiv cs.AI · arxiv.org