arXiv cs.AI· Dipin Khati, Shubham Mehrotra, Bin Bi, Zhou Yu, Denys Poshyvanyk, James Zhu, Sitaram Asur, Phil L. Mui·· 10 小时前AI 评分31
AgentScript-Eval：面向企业 DSL 代码生成的 LLM 与智能体基准测试
AgentScript-Eval: Benchmarking LLMs and Agents for Code Generation in an Enterprise DSL
AI 导读
Salesforce 推出 AgentScript-Eval，用 100 个真实任务评测 LLM 与智能体编写企业 DSL AgentScript 的能力，最佳模型 pass@3 仅 25.0%，所有模型从零编写任务得分均为 0%。
正文 · AI 翻译
摘要：领域特定语言（DSL）在企业软件中被广泛使用，为从数据访问到基础设施自动化的复杂任务提供了紧凑的接口。平台越来越多地将其扩展到智能体，开发者只需声明智能体的主题、允许的操作和护栏，而无需编写通用代码。大型语言模型（LLM）擅长编写通用代码，但这种能力几乎完全是在公共预训练数据丰富的语言上衡量的，而企业 DSL 既不丰富也不公开。我们推出了 AgentScript-Eval，这是一个针对 AgentScript 的、包含 100 个真实任务的执行评分基准，AgentScript 是 Salesforce 在 Agentforce 中用于构建对话式智能体的声明式 DSL。任务涵盖根据规范编写智能体、调试损坏的定义以及优化可用的定义。对五个模型进行零样本评估后，我们发现这一场景难度很高：最佳模型仅达到 25.0% 的 pass@3，且所有模型在从零编写任务上得分均为 0%。我们进一步发现，模型规模和价格对成功的预测能力较弱——一个 31B 的开源权重模型在所有测试模型中达到了最高的编译率（48.0%），并以最低的 token 成本在部分得分准确率上匹配了最强的前沿模型。加入智能体式的编译-编辑循环是最大的单一杠杆，使部分得分准确率大约翻倍。除此之外，领域指导的措辞比其打包形式更重要。同一个技能包作为纯文档得分为 28%，但作为实时插件仅为 14%。随后重写该插件中的一个技能将其提升至 37%，这是我们最好的结果，且目录和工具未做改动。更大的模型并未可靠地优于更小的模型；真正重要的是模型周围的测试框架以及提供给它的指导。
| 评论： | 已被第 40 届神经信息处理系统大会（NeurIPS 2026）接收。研讨会：第 2 届面向企业任务的智能体 AI 基准与应用研讨会（AABA4ET），NeurIPS 2026 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13183 [cs.SE] |
| （或 arXiv:2611.13183v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13183 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dipin Khati [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 20:04:32 UTC（19 KB）
来源：arXiv cs.AI · arxiv.org