arXiv cs.CL· Sachin Gupta·· 12 小时前AI 评分31
面向 LLM IT 工单分类的成本感知弃权评估框架
Cost-Aware Abstention for LLM-Based IT Ticket Classification
AI 导读
研究提出成本感知弃权作为离线、成本条件下的就绪度评估方法：在校准数据上按显式成本选定路由策略，再在留出测试集上冻结评估。在 47,837 条工单、八类语料的公开数据集上，TF-IDF 加逻辑回归以校准选出的 0.60 阈值将测试成本从 0.763 降至 0.472（相对降幅 38.1%），错误路由从 15.3% 降至 3.5%。
正文 · AI 翻译
摘要：IT 支持工单的错误自动路由可能比人工分诊代价更高。我们将成本感知弃权评估为一种离线、成本条件化的就绪度评估：在显式成本下基于校准数据选择路由策略，然后在留出测试数据上对该冻结策略进行一次评估。在一个包含 47,837 张工单、八个类别的公开语料库上，我们在零样本和少样本提示下比较了四个训练过的非 LLM 分类器与四个大语言模型。在示例性成本模型 (c_ok, c_triage, c_wrong) = (0, 1, 5) 下，使用逻辑回归的 TF-IDF 以及在校准集上选定的 0.60 阈值，将测试成本从 0.763 降至 0.472，相对降低 38.1%（配对比率自助法 95% CI [35.7%, 40.4%]），同时将错误路由从 15.3% 降至 3.5%。在事后成本参数分析中，冻结的校准选定策略在 16 种设置中的 14 种里，于留出测试数据上同时优于始终路由和始终推迟。最强的提示配置在分层 1,000 张工单测试子集上达到 0.477 准确率，而微调后的 DistilBERT 在相同工单上为 0.879。等渗校准降低了预期校准误差，但未能可靠提升区分度：GPT-4o-mini 少样本在校准前后只有一个置信度值，正确性 AUROC 为 0.500。因此，我们同时报告正确性 AUROC 和并列感知的风险-覆盖率面积以及 ECE。在解析推导的盈亏平衡概率 0.80 处，七个提示配置推迟所有工单；Haiku 少样本仅路由 19/1,000。仅 LLM 一致性对照和边际/熵拒绝基线进一步将校准与区分度分开。研究结果仅限于该数据集、提示设计、模型端点和示例性成本；本工作是一个评估框架，而非新的弃权算法或通用部署认证。
| 评论： | 被第 38 届 IEEE 国际人工智能工具会议（ICTAI 2026）接收。9 页，5 幅图，9 张表 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2610.31657 [cs.LG] |
| （或 arXiv:2610.31657v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31657 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sachin Gupta [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 17:58:52 UTC（332 KB）
来源：arXiv cs.CL · arxiv.org