arXiv cs.CL· Junyu Lin, Mengjie Wu, Yonghao Dong, Yuchuan Fu, Jinfeng Li, Xiaodan Li, Xiaohan Yuan, Yicheng Liu, Yuefeng Chen, Hui Xue, Jingyi Wang, Yitong Yang, Jiyuan Fu, Qiang He·· 10 小时前AI 评分38
PGuard：面向多模态大语言模型的原生流式即插即用护栏
PGuard: A Native, Streaming, and Plug-in Guardrail for Multimodal Large Language Models
AI 导读
PGuard 是一种原生、流式、即插即用的多模态大语言模型护栏，直接利用骨干模型的中间表示做 token 级安全检测，不改变原推理路径与生成行为。在 SGLang 服务的 Qwen3.5-122B-A10B 上，其端到端额外开销仅 0.82-2.26%；在 Qwen3.5-9B 的文本查询上平均 F1 达 0.836，接近专用外部护栏，并在 30 多个基准上取得原生护栏中的 SOTA 表现。
正文 · AI 翻译
作者：Junyu Lin、Mengjie Wu、Yonghao Dong、Yuchuan Fu、Jinfeng Li、Xiaodan Li、Xiaohan Yuan、Yicheng Liu、Yuefeng Chen、Hui Xue、Jingyi Wang、Yitong Yang、Jiyuan Fu、Qiang He
摘要：随着流式生成成为纯文本和多模态大语言模型的主流服务范式，确保生成过程中的安全性已成为一项关键挑战。我们提出 PGuard，一种原生、流式且可插拔的护栏，将安全监控从外部服务依赖转变为骨干模型的集成能力。PGuard 直接利用骨干模型的中间表示进行 token 级安全检测，而不改变其原始推理路径或生成行为。具体而言，动态层门控在预填充和自回归解码过程中，选择性地聚合跨层的残差流表示，以提取安全相关信号。为平衡检测准确性与计算效率，PGuard 支持多种表示建模架构，包括轻量级无状态变体，以及基于多尺度因果 EMA 注意力和 GRU 循环模块的序列感知变体。其设计还考虑了 LLM 服务框架（如 SGLang）的执行特性，优化计算和数据访问，以最小化额外的运行时和同步开销。因此，在由 SGLang 服务的千亿参数骨干模型 Qwen3.5-122B-A10B 上，PGuard 仅带来 0.82-2.26% 的端到端开销。在涵盖文本和多模态安全、越狱、网络和 CBRN 风险、多语言场景以及真实流量的 30 多个基准上的广泛评估表明，PGuard 在原生护栏中达到了最先进的性能。在 Qwen3.5-9B 的文本查询上，PGuard 的平均 F1 分数达到 0.836，接近专用的外部护栏，同时支持在部署时配置类别特定阈值和执行动作。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02791 [cs.CL] |
| （或 arXiv:2611.02791v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.02791 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junyu Lin [查看邮箱]
[v1]
2026年11月2日星期一 09:03:39 UTC（1,259 KB）
[v2]
2026年11月3日星期二 06:41:39 UTC（1,259 KB）
来源：arXiv cs.CL · arxiv.org