arXiv cs.CL· Vaibhav Prajapati, Pushp Garg·· 2 天前AI 评分22
个性化会破坏信任吗？少样本端侧意图适配下的开放集拒绝校准
Does Personalization Break Trust? Open-Set Rejection Calibration Under Few-Shot On-Device Intent Adaptation
AI 导读
少样本 LoRA 端侧个性化会降低虚拟助手的开放集（OOS）拒绝能力：在五个公开意图分类基准上，OOS 拒绝 AUROC 平均下降 0.055–0.258，而域内准确率保持不变。
正文 · AI 翻译
摘要：常驻虚拟助手越来越多地通过少样本微调（例如 LoRA）在设备上针对新的用户特定命令进行个性化，但这种适配的评估几乎只关注它是否学会了新命令，而不关注助手是否仍能识别与任何意图都不匹配的输入——即超出范围（OOS）拒绝问题。我们表明，朴素的少样本 LoRA 个性化会在五个公开意图分类基准中的每一个上降低 OOS 拒绝的 AUROC（ROC 曲线下面积）（平均下降 $0.055$--$0.258$，每个五个随机种子），而范围内准确率保持不变。一项评分器不变性检查表明，这种下降的一部分是标准置信度评分器自身在适配下校准不良造成的假象，不过在任意评分器下仍存在一个较小的真实效应；我们将其追溯到已知意图区域周围嵌入间隔的可测量收缩（合并 Spearman rho=0.61$）。一个部署成本低廉的修复方法是用马氏距离而非 softmax 置信度来评分拒绝，无需额外训练/再训练，在 5 个数据集中的 3 个上恢复了大部分损失的质量且无准确率代价，优于另外两个 OOD 评分基线，并可跨样本数、LoRA 秩和第二个基础编码器泛化。我们如实报告该修复方法的不足之处，并发布所有代码以供复现。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20652 [cs.CL] |
| （或 arXiv:2610.20652v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20652 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pushp Garg [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 18:54:51 UTC（210 KB）
来源：arXiv cs.CL · arxiv.org