arXiv cs.CL· Masahiro Kaneko, Hiromi Arai, Timothy Baldwin·· 11 小时前AI 评分48
持久记忆 LLM 智能体的隐私循环：披露引发更多披露
Disclosure Begets Disclosure: A Self-Reinforcing Privacy Loop in LLM Agents with Persistent Memory
AI 导读
多轮对话模拟显示，LLM 智能体使用持久记忆虽提升回复质量，却会推高个人属性的经验泄漏率，且随会话轮次扩大。原因是记忆条件下的回复常以预设方式带出旧属性值，用户确认或不纠正后这些线索被记入记忆，形成自我强化的披露循环。在智能体回复端禁止陈述或预设属性，可将泄漏降至接近无记忆水平，同时保留大部分质量收益。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体越来越多地使用持久记忆来个性化回复，而记忆中的个人属性一旦泄露便构成隐私风险。我们研究在对话过程中查阅记忆如何改变用户随后所说的话，进而改变记忆最终揭示的内容。在多会话模拟中，一名拥有 24 项个人属性的模拟用户与一个会或不会查阅记忆的支持智能体对话，在两种设置下都从完整累积记录中推断属性。在四个支持模型上，记忆提升了回复质量，但也提高了经验泄露率，即从记录中正确推断出的属性值所占比例，且这一差距随会话推进而扩大。原因在于普通、非对抗性协助中的一个循环。以记忆为条件的回复会把先前的值向前传递，往往以预设的形式出现，而用户要么予以确认，要么不予纠正，于是线索和智能体自身的猜测都变成了被记录的值。该循环会自我强化，移除智能体对某项属性的提及，使其后续披露的降低幅度约为单轮效应所预测的两倍。用户无法自行摆脱这一循环，因为纠正某个值会披露该属性，拒绝讨论它会使后续预测偏向敏感值，而留在原处的错误值则会根深蒂固。最好在智能体的回复环节削弱这一循环。指示智能体不要陈述或预设属性，可使泄露降至约无记忆水平，同时保留大部分质量收益；而过滤或匿名化用户所说的话或所存储的内容，则会损失其中大部分收益。
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28315 [cs.CR] |
| （或本版本的 arXiv:2610.28315v1 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2610.28315 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Masahiro Kaneko [查看邮箱]
[v1]
2026年10月20日 星期二 14:52:57 UTC（1,259 KB）
来源：arXiv cs.CL · arxiv.org