arXiv cs.AI· Jiawen Lu, Tongtong Wu·· 10 天前AI 评分22
类型化决策模型中候选覆盖与拒绝策略迁移的基准测试
Benchmarking candidate coverage and rejection policy transfer in typed decision models
AI 导读
研究对比 Laya、Jev 与 Qwen2.5-7B-Instruct 在候选集和任务变化下的拒绝策略迁移，发现源域校准常无法保持目标工作点：在 DBpedia 上校准的 Jev 策略会拒绝 69.3% 的 Emotion 测试输入，而 Emotion 策略则完全失去检测能力。
正文 · AI 翻译
摘要：拒绝策略必须在候选集和任务变化时仍然有效。我们使用公开参考标签比较 Laya、Jev 和 Qwen2.5-7B-Instruct，在相同校准预算下测试 Laya/Jev 策略迁移，并在人工遗漏、自然检索遗漏和公开范围外查询上测试全部三个模型。源校准往往无法保持目标工作点。在 DBpedia 上校准的 Jev 策略拒绝了 69.3% 的覆盖 Emotion 测试输入，而 Emotion 策略则完全丧失检测能力。检索暴露出另一种权衡：在十个意图候选下，Laya 检测出 99.0% 的范围外查询，但拒绝了 48.8% 的覆盖查询。区分缺失答案来源，可将这些成本与检索覆盖率一并揭示。该基准提供共享输入、明确的决策与失败类别，以及可复现的评分，用于在策略被复用的条件下评估拒绝策略。代码和基准工件可在 此 https URL 获取。
| 评论： | 29 页，5 幅图。v2：使用 Qwen2.5-7B-Instruct 和 CLINC150 扩展评估；新增固定预算拒绝策略迁移、三种缺失答案来源以及受控鲁棒性分析。代码和基准工件：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.03387 [cs.AI] |
| （或 arXiv:2610.03387v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.03387 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Jiawen Lu [查看电子邮件]
[v1]
2026 年 10 月 2 日星期五 14:36:46 UTC（64 KB）
[v2]
2026 年 10 月 6 日星期二 02:17:37 UTC（248 KB）
来源：arXiv cs.AI · arxiv.org