arXiv cs.CL· Monojit Banerjee, Zhujun Lan, Defu Cao·· 11 小时前AI 评分42
CRM-Agent-Bench：在有状态企业环境中评测工具调用智能体
CRM-Agent-Bench: Benchmarking Tool-Using Agents in Stateful Enterprise Environments
AI 导读
研究者提出 CRM-Agent-Bench，一个面向有状态、多轮企业任务的执行型基准，覆盖 9 个业务领域、36 个能力标签，共 555 个任务，每个任务配有可执行契约，成功需严格满足动作、参数、顺序、响应、目标状态与受保护状态的全部检查。
正文 · AI 翻译
摘要：在真实应用中部署语言智能体，需要的不仅仅是给出正确答案：智能体必须正确执行多步骤业务流程、遵循领域特定规则，并在对话中与用户交互，其中“说”与“做”之间的差距，正是满意客户与真实损失之间的差距。我们认为，一个可部署智能体的基准测试应联合评估四个方面：智能体达成的结果、其采取的轨迹、其运行可行性以及其策略合规性。客户关系管理（CRM）中，可变记录与运营规则及重要后果相交织，恰好能检验这四个方面。我们推出 CRM-Agent-Bench，这是一个基于执行的基准测试，包含跨九个业务领域、36 个能力标签的 555 个有状态、多轮任务。每个任务都提供一份任务专属的可执行契约，该契约源自对动作、参数、顺序、响应、目标状态和受保护状态的检查；成功是指该任务所声明检查的严格合取。我们通过这些契约评估完整的智能体系统，并报告评分覆盖率、延迟和成本。在经审计的最终版本上评估的十六个系统中，严格成功率介于 64.32% 至 83.60% 之间；然而，排名紧密的领先系统在成本和各领域可靠性上却差异显著。CRM-Agent-Bench 提供了一个可审计的框架，用于衡量基于契约的业务交易完整性以及对任务声明基准策略的遵循情况，其结构具有可移植性，便于在模型改进时进行扩展。Github 仓库：this https URL
| 评论： | 52 页 |
| 主题： | 人机交互（cs.HC）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32004 [cs.HC] |
| （或 arXiv:2610.32004v1 [cs.HC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32004 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Defu Cao [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 00:05:21 UTC（1,704 KB）
来源：arXiv cs.CL · arxiv.org