跳到正文
热点事件持续更新

Salesforce 发布 AgentScript-Eval 基准,最佳模型通过率仅 25%

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Salesforce 的研究者发布 AgentScript-Eval 基准,用 100 个真实任务评测大模型和智能体编写企业 DSL AgentScript 的能力;AgentScript 是 Salesforce 在 Agentforce 中构建对话智能体所用的声明式语言。评测按执行结果打分。 结果显示,表现最好的模型 pass@3 仅 25.0%,所有模型在从零编写任务上的得分均为 0%。

AI 根据报道生成 · 48 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. arXiv cs.AI
    AgentScript-Eval:面向企业 DSL 代码生成的 LLM 与智能体基准测试

    Salesforce 推出 AgentScript-Eval,用 100 个真实任务评测 LLM 与智能体编写企业 DSL AgentScript 的能力,最佳模型 pass@3 仅 25.0%,所有模型从零编写任务得分均为 0%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。