arXiv cs.CL· Monica Riedler, Samuele Antonelli, Barbara Plank, Raffaella Bernardi·· 2 天前AI 评分31
AmbiSteer:在视觉语言模型中选择性激发歧义感知响应
AmbiSteer: Selectively Eliciting Ambiguity-Aware Responses in Vision-Language Models
AI 导读
AmbiSteer 是一个轻量框架,通过激活引导选择性地激发视觉语言模型的歧义感知行为。研究发现单独引导效果有限且依赖模型,提示词更有效,但二者结合会在无歧义问题上误触发澄清或枚举行为。AmbiSteer 用线性分类器预测输入歧义并据此调节引导方向,使模型正确处理输入的比例从 59.0% 提升至 77.0%。
正文 · AI 翻译
摘要:视觉语言模型(VLM)常常表现出过度自信,即使视觉证据不足也会给出确定的答案。一个突出的例子是视觉问答(VQA)中的指代歧义,即图像中的多个实体都可能是问题的合理指代对象。处理这类情况需要识别歧义是否存在:对于有歧义的问题,可以通过请求澄清或列举可能的指代对象来处理;而对于无歧义的问题,则应给出直接答案。当前的 VLM 难以做出这种区分,往往默认采用单一解释。为了探究激活引导能否作为一种推理时机制来引发此类行为,我们提出了 AmbiSteer,一个用于选择性引发歧义感知行为的轻量级框架。在三个 VLM 上,我们发现单独使用引导的效果有限且因模型而异,而提示通常更为有效。将提示与引导结合可以显著增加澄清和列举行为,但也会在无歧义的情况下引发这些行为。AmbiSteer 通过使用线性分类器预测输入歧义并据此调节引导方向来解决这一问题,使各模型中被恰当处理的输入比例平均从 59.0% 提升至 77.0%。我们的工作为在不确定的多模态场景中减少模型过度自信的轻量级方法奠定了基础。
| 评论: | 23 页,23 幅图 |
| 主题: | 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.17900 [cs.CV] |
| (或 arXiv:2611.17900v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.17900 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Monica Riedler [查看邮箱]
[v1]
2026年11月13日星期五 08:40:07 UTC(7,610 KB)
来源:arXiv cs.CL · arxiv.org