arXiv cs.AI· Junkai Lin, Ge Xu, Zheng Xu, Junkai Chen, Xiangyuan Lan·· 3 天前AI 评分38
LLM 智能体能否真正遗忘?AUBench 基准探索智能体机器遗忘
Can Agents Truly Forget? Explore Machine Unlearning for LLM Agents
AI 导读
研究者提出智能体遗忘问题,即需从 LLM 智能体的参数知识、持久记忆和工具调用三条信息通道中移除隐私信息,仅靠参数级遗忘并不足够。为此推出 Agent Unlearning Benchmark(AUBench),将 TOFU 的虚构作者设定扩展至带持久记忆、离线网页快照和工具可访问文档的智能体环境。评测显示模型级遗忘与系统级智能体遗忘之间存在明显差距。
正文 · AI 翻译
摘要:大型语言模型(LLM)智能体在交互式问题求解、工具使用和长时程任务执行方面展现出强大能力。然而,它们也可能在训练过程中获取敏感或私密知识,并在部署期间将其暴露。从头重新训练模型以移除此类知识成本高昂,因此机器遗忘成为一种更实用的方法。机器遗忘旨在从已训练模型中移除特定的不良知识,而无需从头重新训练,同时保持通用效用。当语言模型作为智能体部署时,参数级遗忘变得不够充分:被遗忘的信息可能仍残留在记忆产物中,或通过工具调用被重新获取。在本文中,我们将智能体遗忘问题形式化为:从基于 LLM 的智能体中移除私有信息,涉及三个信息渠道:参数化知识、持久记忆和工具调用获取。为研究这一问题,我们提出了 Agent Unlearning Benchmark(AUBench),这是一个受控基准,将 TOFU 的虚构作者设定扩展到具有持久记忆、离线网页快照、工具可访问文档和来源追踪交互轨迹的智能体环境中。通过在该设定下评估现有的参数级和记忆级遗忘方法,AUBench 揭示了模型级遗忘与系统级智能体遗忘之间的差距,并为开发覆盖 LLM 智能体全生命周期的遗忘方法奠定了基础。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.17659 [cs.AI] |
| (或 arXiv:2610.17659v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.17659 arXiv 颁发的 DOI 经由 DataCite(待注册) |
提交历史
来自:Junkai Lin [查看邮箱]
[v1]
2026年10月13日星期二 03:37:30 UTC(548 KB)
来源:arXiv cs.AI · arxiv.org