arXiv cs.AI· Muhammad Atif Saeed, Azka Atiq, Adarsh Kumar, Akhtar Jamil, Uzair Iqbal, Roland Aydin·· 12 小时前AI 评分31
SHIFT-Jev：面向分布偏移下 LLM 决策模型的可认证弃权与增益门控持续适应
SHIFT-JEV: Certified Abstention and Gain-Gated Continual Adaptation for LLM-Based Decision Models under Distribution Shift
AI 导读
SHIFT-Jev 是一套面向 LLM 决策模型的监控、弃权与持续适应流程，通过不确定性、格式与选项一致性信号打分，并用 Learn-then-Test 认证弃权阈值。
正文 · AI 翻译
摘要：大型语言模型（LLM）可以作为决策模型，在固定选项集上返回概率分布，但部署后的决策模型会面临领域偏移、标签先验偏移、新兴类别偏移和候选集偏移。我们研究了此类模型在偏移下如何失效，并提出了 SHIFT-Jev，一种针对它们的监控、弃权和持续适应流程。它根据不确定性、格式和选项一致性信号为每个决策的风险打分，使用 Learn-then-Test 认证弃权阈值，使用漂移和标签偏移检测器监控决策流，并且仅当期望增益门控发现显著的留出集改进且不会在早期场景上造成损失时，才接受模型更新。在包含十个偏移测试环境的基准上，使用 Qwen3-0.6B 和 Qwen3-4B（各三个随机种子）以及 Phi-4-mini，采用 KL 锚定和温度缩放进行微调，将偏移下的校准误差从 0.289 降至 0.087。在 10% 的目标风险下，使用经认证阈值的学习不确定性分数在 27 个环境-种子测试中有 3 到 5 个超过目标，而采用相同认证的最大概率分数为 5 到 15 个，共形预测集为 9 到 14 个；基于漂移的路由变化不大。对预测标签进行卡方检验，可检测出基于置信度和基于嵌入的检测器漏掉的 95% 到 99% 的类别先验偏移。在持续适应中，SHIFT-Jev 在 Qwen3-0.6B 上达到 70.5% 的准确率，在每个随机种子下都高于 replay、LwF、EWC 和微调基线，而在 Qwen3-4B 上，其保守门控使其落后这些基线 0.4 到 1.4 个百分点。
| 评论： | 31 页，11 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34329 [cs.LG] |
| （或 arXiv:2610.34329v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34329 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Muhammad Atif Saeed 先生 [查看电子邮件]
[v1]
2026 年 10 月 25 日星期日 14:38:40 UTC（309 KB）
来源：arXiv cs.AI · arxiv.org