arXiv cs.CL· Amanuel Gizachew Abebe, Yasmin Moslem·· 11 小时前AI 评分24
SpanCalib-VLM：视觉语言模型中的校准幻觉片段检测
SpanCalib-VLM: Calibrated Hallucination Span Detection in Vision-Language Models
AI 导读
SpanCalib-VLM 提出一种双系统混合方案用于视觉语言模型的幻觉片段检测，将 XLM-RoBERTa-Large 与 SigLIP 视觉编码器经交叉注意力融合的序列标注器，与微调生成式 VLM（Qwen3.5-4B-SHROOM-SFT）结合，通过 Union-Calibrated Fusion 用标注器的校准概率对生成模型候选片段重新打分。
正文 · AI 翻译
摘要：检测大型视觉语言模型（LVLMs）中的幻觉需要准确的跨度定位和良好校准的置信度分数。微调的生成式 VLM 擅长识别幻觉文本跨度，但存在过度自信和高推理延迟的问题。判别式序列标注器提供确定性的速度和更优的校准，但跨度召回率较为保守。我们提出 SpanCalib-VLM，一种用于 SHROOM-Visions 共享任务的混合双系统，它结合了一个多模态序列标注器（由 XLM-RoBERTa-Large 通过交叉注意力与 SigLIP 视觉编码器融合而成）和我们微调的生成式 VLM（Qwen3.5-4B-SHROOM-SFT）。通过联合校准融合策略，生成模型给出的候选跨度会用序列标注器校准后的概率重新打分。在 SHROOM-Visions 英文验证集上，我们的集成模型实现了 0.41 的 Pearson 校准相关性和 0.39 的整体 IoU（干净响应 IoU 为 0.91，整体检测准确率为 70.7%）。在官方盲测集上，SpanCalib-VLM 在英文上实现了 0.32 的 Pearson 相关性和 0.25 的 IoU，大幅优于共享任务基线（两项指标均为 0.15），并在全部四种语言上表现出一致的提升。我们公开了模型权重和代码。
| 评论： | Shroom-Visions (UncertainLP) |
| 主题： | 计算机视觉与模式识别 (cs.CV)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2608.29974 [cs.CV] |
| （或此版本的 arXiv:2608.29974v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2608.29974 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yasmin Moslem [查看电子邮件]
[v1]
2026年8月30日星期日 19:00:31 UTC（31 KB）
[v2]
2026年10月19日星期一 18:14:10 UTC（32 KB）
来源：arXiv cs.CL · arxiv.org