arXiv cs.AI· Bo Han·· 1 天前AI 评分31
把安全当作预算：为视觉语言模型的约束 GRPO 校准控制通道
Safety as a Budget: Calibrating the Control Channel of Constrained GRPO for Vision-Language Models
AI 导读
研究提出双通道约束 GRPO，修复标准 GRPO 中乘子被组内标准化抵消、评分器均值偏差左右约束状态的问题。在 Qwen3-VL-2B 上以开源 4B 模型作无训练评分器，1,037 条对抗提示的留出危害率从标准 GRPO 的 8.9% 降至 4.8%，未校准预算为 7.6%。
正文 · AI 翻译
摘要：强化学习可以教会视觉语言模型（VLM）拒绝有害的图像-文本请求，但结果的安全程度是通过试运行找到的奖励权重间接设定的。将安全性表述为对有害协助率和过度拒绝率的预算约束，并在 GRPO 内部由拉格朗日乘子强制执行、以现成的评分器作为代价，是自然的修复方案，但它两次失败。乘子将评分器的均值与预算进行比较，而为排序构建的评分器会把均值算错：不动点分析表明，此时决定乘子是收敛、饱和还是关闭的是均值偏差，而不是预算。而且标准 GRPO 会在每个组内对惩罚奖励进行标准化，这会在乘子到达梯度之前将其抵消。双通道约束 GRPO 修复了这两个问题：基础奖励保留原始分数用于组内比较，惩罚项和约束估计通过一个在经评判器标注的训练响应上拟合的单调映射，并且优势函数保留乘子。在 Qwen3-VL-2B 策略上，以开放 4B 模型的免训练读出作为评分器，1,037 条对抗性提示上的留出危害率从标准 GRPO 下的 8.9% 降至 4.8%，在每个随机种子下都更低，而未校准的预算给出 7.6%；在 400 条良性查询上过度拒绝率最多保持在 2%，MMBench 保持不变。增益在意图位于图像中时最大（10.1% -> 5.1%），并在未见过的 HADES 基准上进一步扩大（28.9% -> 12.8%）。对分数的保序失真在每个随机种子下都复现了每个预测的控制器状态，并且结果在基于另一位评判器标签拟合的映射、一个读图评判器和一次人工审核下依然成立。
| 评论： | 10 页，5 幅图，5 张表 |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.16628 [cs.AI] |
| （或 arXiv:2611.16628v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.16628 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bo Han [查看邮箱]
[v1]
2026 年 11 月 12 日星期四 11:00:14 UTC（789 KB）
来源：arXiv cs.AI · arxiv.org