arXiv cs.AI· Guy Bar-Shalom, Mor Geva, Fabrizio Frasca, Haggai Maron·· 11 小时前AI 评分38
LEMON：基于注意力图等变学习的跨 LLM 零样本异常行为监控
LEMON: Equivariant Learning over Attention Maps for Zero-Shot Misbehavior Monitoring on New LLMs
AI 导读
LEMON 是一种基于图神经网络的在线监控器，利用几何深度学习将跨模型注意力图的头功能、顺序和深度差异建模为代数对称性，使预测对这些对称性保持不变，从而无需重新标注即可零样本迁移到新 LLM。
正文 · AI 翻译
摘要：大型语言模型表现出一些不当行为，阻碍了其在高风险场景中的部署。监控此类失败的一种方法是使用外部 LLM 作为监控器，但这种方式成本过高。一类知名且高效的监控器能够从内部表示（如激活探针）中检测此类失败，但它们与训练时所基于的模型绑定，随着新 LLM 的出现需要付出高昂的重新标注成本。避免这种重复标注成本的一种自然方法是开发能够跨 LLM 零样本迁移的基于内部表示的监控器。然而，这种迁移具有挑战性，因为内部表示在不同模型之间并非天然对齐；特别是，已知包含不当行为信号的注意力图，其头部功能、顺序和模型深度可能各不相同。在本工作中，我们将这些跨模型的注意力不匹配刻画为代数对称性，并运用几何深度学习原理构建了 LEMON（Language-model Equivariant MOnitoring Network），这是一种基于在线图神经网络的监控器，其预测在这些对称性下保持不变。LEMON 在注意力图生成时逐 token 处理，并在每个 token（或每 $W$ 个 token 的窗口）之后以可忽略的成本输出一个分数。在 16 个 LLM 和六个数据集上，在零样本跨模型设置中，LEMON 在幻觉和越狱监控任务上均优于所有基线，相比最强基线最高提升 14 个 ROC-AUC 点。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22723 [cs.AI] |
| （或 arXiv:2610.22723v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22723 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guy Bar-Shalom [查看电子邮件]
[v1]
2026年10月15日星期四 22:53:45 UTC（561 KB）
来源：arXiv cs.AI · arxiv.org