跳到正文
arXiv cs.CL· Md Tahmid Rahman Laskar, Xue-Yong Fu, Shashi Bhushan TN·· 23 小时前AI 评分38

决策模型能否在真实呼叫中心分类与评判任务中取代 LLM?

Can Decision Models Replace LLMs in Real-World Contact Center Classification and Judging Tasks?

AI 导读

一项 arXiv 研究在零样本设置下,用 8 个呼叫中心用例(6 个分类任务、2 个评判任务)对比了 9 个决策模型与 13 个生成式 LLM。结果显示,许多决策模型在分类任务上可匹配前沿 LLM,且基于 API 的闭源决策模型单次请求成本最低;其高置信度预测更准确,可用于生产环境的选择性路由。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:联络中心系统通常需要做出有边界的决策,例如识别来电者的意图、检索回答查询的知识库文章、评估坐席合规性,或评判生产环境中使用的 AI 模型的输出。决策模型直接返回带类型的答案及其概率,使其在此类有边界的对话任务中成为生成式大语言模型(LLM)的一种有前景且高性价比的替代方案。然而,它们在真实联络中心应用中的有效性仍不明确。在本文中,我们在零样本设置下,针对八个联络中心用例(六个分类任务和两个评判任务),将九个决策模型与十三个生成式 LLM 进行了比较。我们的实验表明,许多决策模型在联络中心分类任务上能够达到前沿 LLM 的性能,而基于 API 的闭源决策模型在我们评估的 API 模型中实现了最低的单次请求成本。我们进一步观察到,它们高置信度的预测更为准确,从而能够在真实生产场景中实现选择性路由。在分类任务中,大多数决策模型的主要弱点是弃权:它们很少选择无答案选项,这构成了它们与最强 LLM 之间的大部分差距(尽管 Gemini-Decision-1 在这方面是显著的例外)。我们还发现,决策模型的评判质量在较小模型上急剧下降,而且它们也更容易出现位置偏差。简而言之,我们的发现为基于弃权行为、置信度和部署成本(而非仅凭整体准确率)来选择决策模型提供了实用指导。
学科: 计算与语言(cs.CL)
引用为: arXiv:2611.22949 [cs.CL]
  (或 arXiv:2611.22949v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22949

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Md Tahmid Rahman Laskar [查看电子邮件]
[v1] 2026年11月17日星期二 15:39:40 UTC(106 KB)

来源:arXiv cs.CL · arxiv.org