arXiv cs.AI· Zhihao Liu, Yitian Cheng, Shuang Liu, Rui Wen, Yuke Hu, Zhan Qin·· 6 天前AI 评分29
DP-MIND：差分隐私记忆引导的长上下文推理框架
DP-MIND: Differentially private memory-guided Long context Inference
AI 导读
针对百万 token 级长上下文下差分隐私推理效用严重退化的问题，研究者提出记忆引导框架 DP-MIND，通过本地扰动输入、分块处理并用紧凑记忆保留任务相关信息，将差分隐私推理扩展至百万 token 上下文。该框架用强化学习直接在扰动输入上优化记忆构建策略，并以本地去噪模块恢复被扰动破坏的答案片段。在多个长上下文基准上，DP-MIND 在可扩展性与效用上均优于现有差分隐私及长上下文推理基线。
正文 · AI 翻译
摘要：LLM-as-a-Service 已成为无需本地部署即可访问大语言模型的主流范式。然而，当用户查询可能包含敏感或机密上下文时，这一过程会引发严重的隐私问题。差分隐私（DP）为保护此类输入提供了有原则的方法，但现有的 DP 推理方法主要针对短或中等上下文场景设计，由于上下文容量有限以及在 DP 扰动下效用严重下降，难以处理百万 token 规模的输入。
在本文中，我们提出 DP-MIND，一个记忆引导框架，可将差分隐私推理扩展到百万 token 上下文。DP-MIND 通过本地扰动输入，并使用紧凑记忆逐块处理，从而在序列中保留任务相关信息，实现私有长上下文推理。为使该记忆对 DP 噪声具有鲁棒性，我们使用强化学习直接在扰动输入上优化记忆构建策略，并以最终答案正确性和记忆一致性作为指导。我们进一步通过本地去噪模块恢复被扰动破坏的答案片段，而不会将原始上下文暴露给外部模型。我们提供了 DP-MIND 的理论隐私分析，并进一步在多个长上下文基准上进行了广泛的实证分析，上下文长度最高达百万 token 规模，证明 DP-MIND 在可扩展性和效用方面均持续优于现有的 DP 和长上下文推理基线。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.13132 [cs.AI] |
| （或 arXiv:2610.13132v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13132 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zhihao Liu [查看邮箱]
[v1]
2026年10月9日星期五 07:25:17 UTC（2,265 KB）
来源：arXiv cs.AI · arxiv.org