arXiv cs.AI· Ritvij Sharma, Russell Dlugosz, Ryan Zhou, Maheep Chaudhary·· 10 天前AI 评分25
LLM 纵深防御：评估记忆门控对激活诱导与记忆诱导谄媚的影响
Defense-in-Depth for LLMs: Evaluating Memory Gates Against Activation-Induced and Memory-Induced Sycophancy
AI 导读
研究提出一个 2×2 纵深防御框架，将内部激活引导与外部记忆处理分离，在 MemSyco-Bench 上评估四种开放权重模型、10 个引导系数和五种记忆防御配置。
正文 · AI 翻译
摘要：长期记忆使大型语言模型（LLM）能够在多次交互中保持个性化上下文，但检索到的用户历史可能诱发记忆诱导的谄媚，使模型偏向存储的用户信念而非客观证据。现有防御主要在检索到的上下文上运作，很少与内部行为偏差联合评估。我们引入一个 $2 \times 2$ 纵深防御框架，将内部激活引导与外部记忆处理分离。我们从 100 个配对提示中提取谄媚引导方向，并在 MemSyco-Bench 上评估四个开放权重模型，涵盖 10 个引导系数和五种记忆防御配置（全部 1,550 个条目的答案；防御条件在固定的 250 个条目子样本上评判），使用三个 LLM 评判员。五种配置中有三种是新的（重写每条记忆、一个保留、重写或丢弃每条记忆的路由门，以及丢弃所有记忆）；另外两种是 MemSyco 的基线。选择性路由门过滤比完全移除记忆保留了显著更多的 MemSyco 平均准确率，并且当模型被引导向谄媚时这种分离仍然存在。在 Llama 3.1 8B 上使用路由门时，轻度反向引导（$\alpha = -1.5$）将评判员平均谄媚率从 35.80% 降至 31.32%，而平均准确率从 43.99% 变为 43.31%；这种降低在三个评判员下方向一致，但在统计上不显著（在 149 个条目上配对 $p = 0.08$ 至 $0.63$）。外部记忆过滤是设计中站得住脚的部分；我们的数据并未表明反向引导对其有所增益。
| 评论： | 被 NeurIPS 接收（IAB、RTCA、AIWILD 和 CL4FM） |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07403 [cs.AI] |
| （或 arXiv:2610.07403v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07403 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ritvij Sharma 先生 [查看电子邮件]
[v1]
2026年10月5日星期一 21:16:06 UTC（83 KB）
来源：arXiv cs.AI · arxiv.org