arXiv cs.AI· Wei Cai, Jian Zhao, Yuchen Yuan, Xuelong Li·· 2 天前AI 评分31
SAFE-PRO：用主动提问解决多模态大模型的跨模态安全风险
When Reasoning Is Not Enough: Proactive Inquiry for Cross-Modal Safety in Multimodal Large Language Models
AI 导读
针对多模态大模型在图文联合解读时出现的意图级风险，研究者提出 SAFE-PRO，利用结合预测熵与跨模态风险分数的 Risk-Conditioned Uncertainty（RCU）信号，判断何时提出安全澄清问题、何处应用路径优化。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）在单独无害的图像和文本被联合解读时可能表现出不安全行为。除了隐式推理风险（即推理漂移向有害方向）之外，我们还识别出意图级风险，即跨模态歧义会悄然使模型接受一个危险前提，而仅靠路径级优化无法纠正。我们提出 SAFE-PRO，它使用风险条件不确定性（RCU）信号，将预测熵与学习到的跨模态风险分数相结合，以决定何时提出基于安全的澄清问题以及在哪里应用路径优化，其奖励优先考虑安全性并惩罚过度拒绝。我们还构建了 SSUI-Dialog，一个具有双意图监督的多模态多轮数据集，并从理论上分析了 RCU 下的梯度方差和不安全完成风险。在七个基准和两个基础 MLLM 上，SAFE-PRO 在安全性上持续优于 SRPO，将其过度拒绝大约减半，并在平均单轮安全性上超过 GPT-4o 和 Claude-3.5-Sonnet。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22068 [cs.AI] |
| （或 arXiv:2610.22068v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22068 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Wei Cai [查看电子邮件]
[v1]
2026年10月15日星期四 15:28:47 UTC（5,152 KB）
来源：arXiv cs.AI · arxiv.org