arXiv cs.AI· Tanqiu Jiang, Min Bai, Sadat Shahriar, Wanyu Du, Sandesh Swamy·· 12 小时前AI 评分38
PerMIT:用机器可验证的完整性定理与社区信任为 LLM 智能体持久记忆加固
PerMIT: Securing Persistent Memory for LLM Agents via Machine-Checked Integrity Theorems and Scalable Community Trust
AI 导读
PerMIT 是一套为 LLM 智能体持久记忆提供可证明完整性保证的记忆架构,其两条完整性定理已在 Lean 4 中机器验证。在 Trojan Hippo 上,PerMIT 配合自验证与轻量验证器实现零攻击成功;在 τ²-bench 上,最多 90 个自主智能体用其构建共享知识库,无直接记忆注入被提升,且新智能体在留出任务上表现显著提升。
正文 · AI 翻译
摘要:持久记忆在很大程度上是注入与投毒的一个未设防表面,同样的风险也限制了智能体之间的记忆共享。我们提出 PerMIT,一种在明确信任假设下具有可证明完整性保证的记忆架构:只有用户键入的输入和在门控处确认的值才被信任。PerMIT 通过有限记忆接口来中介不受信任的环境派生值的释放与使用,同时保留智能体驱动的多轮规划与工具选择。在这个有限接口之上,我们证明了两条完整性定理,并在 Lean 4 中进行了机器验证,二者共同确保环境派生记忆只有在门控处被确认后才能到达敏感操作,并且只能通过门控所显示的内容影响智能体的行为。因此,我们威胁模型中的每一次攻击都归结为单个可审计的决策,该决策在实践中可由人类、LLM 验证器或两者共同做出。在 Trojan Hippo 上,PerMIT 在自我验证和轻量级验证器下记录到零次观察到的攻击成功。由于每次确认都是对确切内容的记录裁决,认可会跨用户累积,获得足够认可的条目即成为社区确认,无需进一步验证。在明确假设下,我们证明并在仿真中印证了一种协同扩展性质:随着社区增长,推广毒害的风险和错误驱逐良性知识的风险都会下降,而每用户验证工作量不会上升。在 $\tau^2$-bench 上,最多 90 个自主智能体组成的社区使用 PerMIT 构建共享知识库,没有任何直接记忆注入被推广,由此产生的知识显著提升了新智能体在留出任务上的表现,这暗示了一条通往在测试时安全自我改进的智能体的路径。
| 主题: | 人工智能(cs.AI);密码学与安全(cs.CR) |
| 引用为: | arXiv:2610.28987 [cs.AI] |
| (或本版本使用 arXiv:2610.28987v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2610.28987 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Tanqiu Jiang [查看邮箱]
[v1]
2026年10月20日星期二 23:31:06 UTC(3,490 KB)
来源:arXiv cs.AI · arxiv.org