arXiv cs.CL· Junhao Wang, Yidou Chen, Li Lu, Hongwei Yao, Xiaodan Li, Mengjie Wu, Yuefeng Chen, Zhan Qin, Kui Ren·· 11 小时前AI 评分38
Omni-UBench：跨安全、实用性与可靠性的全模态 LLM 护栏基准测试
Omni-UBench: Benchmarking Omni-Modal LLM-based Guardrails Across Safety, Utility, and Reliability
AI 导读
Omni-UBench 是首个从安全、实用性与可靠性三个维度评估全模态 LLM 护栏的综合基准，涵盖 183k+ 样本、35+ 异构来源，覆盖文本、图像、音频、视频及跨模态组合。对 15 个代表性 OLLM 与全模态护栏的测试显示，现代 OLLM 即使未经护栏专项微调也具备较强内容审核潜力，但现有护栏仍难以识别隐藏有害意图或复杂越狱的跨模态查询，并存在明显的安全幻觉与对文本模式的过度敏感。
正文 · AI 翻译
摘要：全模态大语言模型（OLLMs）的进展使人与 AI 的交互日益无缝，但其对异构模态的统一处理也扩大了攻击面，使攻击者能够利用更丰富的输入组合来规避安全对齐。为应对此类风险，研究者提出了全模态护栏，用于检测和过滤任意模态中的不安全查询。然而，由于缺乏全面的评估基准，其能力与局限性仍未被充分理解。本文提出 Omni-UBench，这是首个用于全模态安全评估的综合框架，从安全性、效用性和可靠性三个关键维度评估护栏模型。Omni-UBench 汇集了来自 35 个以上异构来源的超过 183k 个样本，涵盖文本、图像、音频、视频及其跨模态组合，并按照统一的风险分类体系标注了安全标签。在 Omni-UBench 下对 15 个具有代表性的 OLLM 和全模态护栏进行基准测试，得出若干关键发现，包括：（1）现代 OLLM 即使未经过护栏专用调优，也展现出较强的内容审核潜力；（2）现有护栏仍难以识别隐藏有害意图或涉及复杂越狱的跨模态查询；（3）它们还表现出显著的安全幻觉和对文本模式的过度敏感，揭示出对跨模态安全语义的理解不足。我们的发现为未来研究中开发更可信的全模态护栏提供了有价值的见解。
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.31713 [cs.CR] |
| （或 arXiv:2610.31713v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31713 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junhao Wang [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 04:20:51 UTC（1,602 KB）
来源：arXiv cs.CL · arxiv.org