arXiv cs.AI· Yezhou Cheng, Zehua Yang, Bojun Lin·· 10 小时前AI 评分24
基于带符号词汇证据的风险校准意图路由,提升对话 AI 任务分流可靠性
Risk-Calibrated Intent Routing for Conversational AI via Signed Lexical Evidence
AI 导读
研究者提出一种双特征置信度模型,将分类器最高两个分数的差值与带符号词汇证据结合,用于对话 AI 的意图路由。在 BANKING77、CLINC150、HWU64 上,风险-覆盖率曲线下面积分别降低 15.8%、15.1%、11.8%;5% 错误目标下,BANKING77 和 HWU64 的接受请求比例分别提升 1.83 和 5.14 个百分点。
正文 · AI 翻译
摘要:随着语言模型的进步,对话式 AI 已被广泛使用,人们可以用自己的语言查找信息、获取写作帮助并寻求实用指导。当助手处理特定任务时,它必须推断用户想要什么,并决定是否根据该预测采取行动。句子分类器的置信度可能会遗漏措辞中的线索。我们将分类器两个最高分之间的差距与带符号的词汇证据(一种基于单词和短字符模式的分数)相结合。当这些模式支持预测意图时,该分数为正;当它们支持其他意图时,该分数为负。我们使用单独的校准数据和错误率的统计上界来设定接受请求所需的最低置信度。在每个数据集十次运行中,与仅使用句子分类器分数的置信度模型相比,我们的方法在 BANKING77、CLINC150 和 HWU64 上分别将风险-覆盖率曲线下面积(该指标总结了随着更多请求被接受时的错误情况)降低了 15.8%、15.1% 和 11.8%。在 5% 错误目标下,BANKING77 上被接受请求的占比提高了 1.83 个百分点,HWU64 上提高了 5.14 个百分点。CLINC150 在该目标下已接近全覆盖。在 2% 目标下,校准找到了一条规则,在全部 30 次运行中都能接受部分请求。我们的贡献是一个双特征置信度模型,它通过衡量措辞对原始意图预测的支持或质疑程度来改进路由。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2610.00262 [cs.CL] |
| (或 arXiv:2610.00262v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.00262 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Yezhou Cheng [查看电子邮件]
[v1]
2026年9月24日星期四 07:06:22 UTC(142 KB)
[v2]
2026年11月18日星期三 03:17:05 UTC(145 KB)
来源:arXiv cs.AI · arxiv.org