arXiv cs.AI· Jinyuan Zhang·· 10 小时前AI 评分31
ReFrain：在保留已获得正确答案的前提下实现多模态弃答
Multimodal Abstention That Preserves Acquired Correct Answers
AI 导读
研究者提出 ReFrain（Regression-Free Abstention），通过首 token logits 线性探针、留出图像簇上的阈值校准和确定性否决机制，在弃答时保留其他回答。
正文 · AI 翻译
摘要：在任务适配的多模态模型中引入弃答机制可能会丢弃正确答案，包括在适配过程中获得的能力。我们将弃答修复形式化为：在新增丢失正确答案的预算约束下，最大化对不可回答问题正确弃答的数量。我们提出 ReFrain（无回归弃答），它结合了对首 token logits 的线性探针、在留出图像簇上的阈值校准，以及一个确定性否决机制——将拒绝的输出替换为显示的“以上都不是”选项，同时保留所有其他响应。“无回归”指在零预算目标下校准集上的零损失。我们主要比较中的所有弃答方法都从相同的回答-SFT 检查点开始；我们分别跟踪丢失的正确答案、修复的错误和保留的 SFT 增益。在 Qwen2.5-VL-3B 上，零预算下的 ReFrain 保留了全部 57 个 SFT 增益答案且无损失，并将正确弃答率提高了 7.30 个百分点。在 0.5% 校准预算下，它达到 74.05% 的正确弃答率，有 8 个损失并保留 55 个增益；CLIP-UP EmbLoRA 达到 64.65%，有 62 个损失、41 个修复和 40 个保留增益。同一探针在其默认阈值下丢失了 298 个正确答案。在模型和阈值冻结的情况下，在 228 个独立问题簇上的确认在 0.5% 点处产生 66.05% 的正确弃答率且无损失，超过 EmbLoRA 32.72 个百分点。普通拒绝 SFT 以更大的回归代价获得更高的正确弃答率。代码和复现材料：此 https URL。
| 评论： | 28 页。代码和复现材料：此 https URL |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.14311 [cs.AI] |
| （或 arXiv:2611.14311v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14311 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jinyuan Zhang [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 16:41:49 UTC（36 KB）
来源：arXiv cs.AI · arxiv.org