arXiv cs.CL· Haoyi Wu, Yunkai Dang, Wanyu Zhang, Lei Wang, Wenbin Li·· 10 小时前AI 评分31
POEM：面向长上下文预填充的输出相对块稀疏注意力
POEM: Output-Relative Block-Sparse Attention for Long-Context Prefilling
AI 导读
论文提出 POEM，一种面向长上下文预填充阶段的输出相对块稀疏注意力机制。原文摘要未给出具体基准分数、速度倍数或可用性信息。
正文 · AI 翻译
摘要：大型语言模型（LLM）在各类应用中展现出强大能力，因此安全性与实用性对于可靠部署都至关重要。越狱攻击利用多种形式的对抗性提示绕过对齐防护措施，诱导 LLM 生成有害回复。一些基于表征的防御方法使用预定义引导方向或学习到的安全区域来调控内部激活。然而，在没有预定义表征目标的情况下，针对每个输入自适应地调整干预，同时限制过度拒答，仍是一项挑战。本文提出无目标熵引导残差调制（TERM），这是一种推理时防御方法，利用经提示校准的注意力熵偏差来引导对模型自身残差更新的自适应调制。注意力模式因提示和解码步骤而异，使得原始熵值难以被解释为一致的干预信号。因此，我们针对每个提示自身的预填充基线来校准注意力熵，以建立输入特定的参考，从而减少对良性请求的不必要干预。随后，自适应尺度归一化和时间累积分别考虑偏差幅度和持续性的差异，以确定干预强度。所得信号控制模型自身残差更新的有界缩放，而不依赖预定义的安全方向。我们在 Llama、Qwen 和 Gemma 模型（包括从 0.6B 到 32B 的 Qwen3 模型）上，将本方法与七种防御方法在七种越狱攻击和两个过度拒答基准上进行了比较。结果表明，本方法提升了越狱鲁棒性，同时对良性安全敏感请求保持较低的过度拒答率，且推理开销适中。
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13578 [cs.CR] |
| （或 arXiv:2611.13578v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13578 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yunkai Dang [查看邮箱]
[v1]
2026年11月10日星期二 04:52:58 UTC（4,785 KB）
来源：arXiv cs.CL · arxiv.org