Salesforce 发布 AgentScript-Eval 基准,最佳模型通过率仅 25%
热点事件持续更新
Salesforce 发布 AgentScript-Eval 基准,最佳模型通过率仅 25%
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Salesforce 的研究者发布 AgentScript-Eval 基准,用 100 个真实任务评测大模型和智能体编写企业 DSL AgentScript 的能力;AgentScript 是 Salesforce 在 Agentforce 中构建对话智能体所用的声明式语言。评测按执行结果打分。 结果显示,表现最好的模型 pass@3 仅 25.0%,所有模型在从零编写任务上的得分均为 0%。
AI 根据报道生成 · 48 分钟前更新
最新进展11月11日 13:00
AgentScript-Eval:面向企业 DSL 代码生成的 LLM 与智能体基准测试报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- arXiv cs.AIAgentScript-Eval:面向企业 DSL 代码生成的 LLM 与智能体基准测试
Salesforce 推出 AgentScript-Eval,用 100 个真实任务评测 LLM 与智能体编写企业 DSL AgentScript 的能力,最佳模型 pass@3 仅 25.0%,所有模型从零编写任务得分均为 0%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。