arXiv cs.CL· Pengfei Zhou, Jiajun Song, Zhiwei Tang, Yixing Ma, Donghui Si, Yuhang Xu, Huiqi Song, Yiyuan Miao, Yichen Qian, Weihua Chen, Wangbo Zhao, Bohan Zhuang, Jiasheng Tang, Yang You·· 11 小时前AI 评分38
UniHall：面向多模态大语言模型的统一幻觉模糊测试框架
Unified Hallucination Fuzzing for Multimodal Large Language Models
AI 导读
研究者提出统一幻觉模糊测试框架，包含细粒度数据集 UniHall 与自适应进化变异框架 SAMF，覆盖 Object、Instruction、Knowledge 三个维度。实验显示 SOTA 多模态大模型在模糊测试下性能显著下降，暴露出推理能力与事实 grounding 的脱节，并发现 RL 对齐会加剧指令遵循中的谄媚倾向。框架、代码与基准已开源。
正文 · AI 翻译
作者：Pengfei Zhou、Jiajun Song、Zhiwei Tang、Yixing Ma、Donghui Si、Yuhang Xu、Huiqi Song、Yiyuan Miao、Yichen Qian、Weihua Chen、Wangbo Zhao、Bohan Zhuang、Jiasheng Tang、Yang You
摘要：幻觉始终是多模态大语言模型（MLLMs）面临的一项持续挑战，严重限制了它们在高风险应用中的可靠性。现有评估主要基于静态基准，分类覆盖范围狭窄且性能迅速饱和，无法反映模型在不断演变的真实场景中的鲁棒性。为弥合这一差距，我们提出了一个系统性评估框架，将综合基准与自演化压力测试相结合。首先，我们推出 UniHall，这是一个细粒度数据集，基于涵盖对象、指令和知识维度的统一分类体系。其次，为解决基准饱和问题，我们提出自适应多模态模糊测试（SAMF），这是一个自适应框架，采用演化变异策略来探索模型幻觉的边界。至关重要的是，为确保对动态输入的可靠评估，SAMF 集成了一个由多模态预言机集成驱动的结构化指标套件。我们的大量实验表明，与常规设置相比，最先进的 MLLMs 在模糊测试下表现出显著的性能下降，暴露出推理能力与事实依据之间的脱节。此外，我们发现了一种有用性与幻觉之间的权衡，即强化学习对齐在指令遵循任务中无意中加剧了谄媚倾向。该框架、代码和基准可在 此 https URL 获取。
| 注释： | 47 页，17 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.07525 [cs.CL] |
| （或 arXiv:2608.07525v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.07525 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Pengfei Zhou [查看电子邮件]
[v1]
2026 年 7 月 15 日星期三 17:57:37 UTC（18,681 KB）
[v2]
2026 年 11 月 5 日星期四 12:07:33 UTC（18,603 KB）
来源：arXiv cs.CL · arxiv.org