arXiv cs.AI· Shengtao Wen, Yunying Yang, Xiang Chen, Lingbing Guo, Yu Tian, Sheng-Jun Huang·· 10 小时前AI 评分31
SPARK：面向 LLM 持续学习的任务后自蒸馏回放，解耦知识与隐私
Decoupling Knowledge and Privacy: Post-Task Self-Distillation Replay for LLM Continual Learning
AI 导读
SPARK 提出“保留-校正”分解框架，先冻结任务后学到的分布，再围绕该稳定参考做选择性校正，以在 LLM 持续学习中抑制敏感内容复现。其 Self-Distillation Replay 在学习当前任务时蒸馏旧任务行为，Post-Task Privacy Correction 降低标注 PII 的生成概率，同时将新旧任务的非 PII 行为锚定到该 checkpoint。
正文 · AI 翻译
摘要：隐私保护持续学习（PPCL）必须在减少敏感内容再现的同时，在连续任务中保留有用知识。形式化隐私保证刻画的是随机化机制，而操作层面的输出控制关注的是训练后的模型是否在其输出中选择性地降低敏感内容的可能性。在本工作中，我们结合现实任务演化下的持续学习效用，研究后者。保留与隐私校正在不同粒度上运作：任务获取需要广泛保留当前任务和旧任务的行为，而隐私校正针对稀疏的标注位置。联合优化会使当前任务的保留目标持续变化。我们提出 SPARK，一种保留-校正分解方法，它首先冻结学习到的任务后分布，然后围绕这一稳定参考进行选择性校正。自蒸馏回放在学习当前任务的同时蒸馏先前任务的行为，任务后隐私校正则降低标注 PII 的可能性，同时将当前任务和旧任务的非 PII 行为锚定到所得检查点。大量评估表明，SPARK 在多种设置下实现了有效的选择性 PII 抑制，同时保持了强大的持续学习效用和知识保留能力。代码和数据将在论文发表后发布。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.29711 [cs.LG] |
| （或本版本使用 arXiv:2609.29711v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.29711 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shengtao Wen [查看电子邮件]
[v1]
2026年8月31日星期一 13:01:36 UTC（1,178 KB）
[v2]
2026年11月4日星期三 08:23:54 UTC（1,938 KB）
来源：arXiv cs.AI · arxiv.org