arXiv cs.CL· Md Tahmid Rahman Laskar, Gundeep Singh, Xue-Yong Fu, Karol Chang, Kevin Sanders, Shi Zong, Tania Habib, Julien Bouvier Tremblay, Shayna Gardiner, Harsh Saini, Matthias Lee, Elena Khasanova, Quinten McNamara, Shashi Bhushan TN·· 3 天前AI 评分28
评估 LLM 作为真实客服技能中的智能体工作流执行器
Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills
AI 导读
研究构建了一套基于真实客服对话记录的 Skill LLM 基准，通过 MCP 兼容 mock 模拟环境状态并生成多轮工具调用对话，对 17 个模型进行零样本评测。GPT-5.4 大幅领先，QWEN3.5-9B 是 20B 以下最强开源权重模型，在每位评审下均超过多个闭源基线。10 组评审两两一致率平均 Kappa=0.524，表明评审可靠性需与模型能力同等重视。
正文 · AI 翻译
作者：Md Tahmid Rahman Laskar、Gundeep Singh、Xue-Yong Fu、Karol Chang、Kevin Sanders、Shi Zong、Tania Habib、Julien Bouvier Tremblay、Shayna Gardiner、Harsh Saini、Matthias Lee、Elena Khasanova、Quinten McNamara、Shashi Bhushan TN
摘要：企业客户支持代理日益依赖大型语言模型（LLM）来执行有界的、使用工具的工作流。我们通过技能 LLM（Skill LLM）的视角研究这一问题：这些专用执行器在选定的技能上下文中运行，并必须在策略和工具约束下完成一个狭窄的、有状态的工作流。我们提出了一套基准构建流水线，从真实对话记录中挖掘重复出现的工作流，将其转换为结构化的技能描述，映射到工具需求，使用兼容模型上下文协议（MCP）的模拟器模拟环境状态，并生成多轮工具使用对话。利用该基准，我们对 17 个语言模型进行了大规模零样本评估，涵盖闭源模型系列以及面向部署的、参数规模从 1.7B 到 14B 的开源权重模型，每个模型由五个强大的 LLM 评判员独立评判，并辅以一个确定性的基于规则的评估器，用于检查工具覆盖、幻觉工具使用和无依据的声明。我们发现了一致的排名：GPT-5.4 以较大优势领先，QWEN3.5-9B 是最强的开源权重模型（低于 20B），在每个评判员下都优于若干闭源基线。我们还发现，评判员的选择并非可忽略的方法学细节：在 10 对评判员中，通过/失败判定的成对评判员一致率平均为 Kappa=0.524。这些结果表明，对技能执行的全面零样本评估既需要像关注模型能力一样审慎地关注评判员可靠性。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.14346 [cs.CL] |
| （或 arXiv:2610.14346v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14346 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Md Tahmid Rahman Laskar [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 21:45:51 UTC（202 KB）
[v2]
2026 年 10 月 14 日星期三 16:00:21 UTC（203 KB）
来源：arXiv cs.CL · arxiv.org