arXiv cs.CL· Mikhail Kulakov (Novosibirsk State University), Ruslan Solikhov (Novosibirsk State University), Ivan Bondarenko (Novosibirsk State University)·· 10 小时前AI 评分24
Sckwoky 在 SHROOM-Visions 任务：用双提示 LoRA 解码器实现图像条件 VLM 的字符级幻觉片段检测
Sckwoky at SHROOM-Visions: Character-Level Hallucination-Span Detection in Image-Conditioned VLMs via Dual-Prompted LoRA Decoders
AI 导读
Sckwoky 团队为 SHROOM-Visions 2026 共享任务提出字符级幻觉片段检测系统，基于冻结的 Gemma-4-12B-it 主干加约 10.7M 参数 LoRA 适配器，在提示中重复候选答案并从第二次出现处提取特征以获得近似双向上下文。
正文 · AI 翻译
摘要：我们展示了用于 SHROOM-visions 2026 共享任务的系统，该任务针对图像条件视觉语言模型（VLM）响应中的字符级幻觉片段检测，并在英语、法语、意大利语和中文上进行评估。该检测器基于冻结的 Gemma-4-12B-it 主干网络，并配有可训练的 LoRA 适配器（约 10.7M 参数）。由于主干网络是因果解码器，从答案的单一副本读取的隐藏状态无法关注后续 token；因此，我们在一个提示中重复候选答案，并从其第二次出现中提取特征，从而在单次非自回归传递中为每个位置提供近似双向上下文。字符级定位器结合中间隐藏状态来预测幻觉概率、BIO 边界和响应级弃权分数，而单独的语言特定分类器为每个预测片段分配五种幻觉类型之一。在封闭测试集上，我们的系统达到宏平均字符 IoU 0.4404，是官方基线（0.1854）的两倍多，并在四种语言的 IoU 上排名第 5-6 位。在英语调优划分上，受控消融实验将增益归因于重复答案，其效果与 LoRA 适配相当（其留出增益较小且集中在幻觉答案上），并且它们表明检测器依赖于图像-答案配对：在示例间打乱图像会使每种语言的 IoU 降至 predict-nothing 下限的水平或以下。在同一个 Gemma-4-12B-it 模型也生成答案的部署中，其基础权重可以重用，使得该方法对于无法运行单独验证器的本地问答系统具有实用性。
| 评论： | 7 页，3 幅图。发表于《第三届不确定性感知 NLP 研讨会论文集》（UncertaiNLP 2026），匈牙利布达佩斯。在研讨会上以海报形式展示 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.14100 [cs.CL] |
| （或此版本的 arXiv:2611.14100v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2611.14100 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 《第三届不确定性感知 NLP 研讨会论文集》（UncertaiNLP 2026），第 849-855 页，计算语言学协会，2026 年 |
| 相关 DOI： | https://doi.org/10.18653/2026.uncertainlp-main.61
链接到相关资源的 DOI |
提交历史
来自：Mikhail Kulakov [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 13:55:52 UTC（1,340 KB）
来源：arXiv cs.CL · arxiv.org