arXiv cs.AI· Myunghoon Ryu, Geunpyo Park, Sungjoon Lee, XinYu Piao, Jong-Kook Kim·· 3 天前AI 评分24
P2Skill:面向云-端 LLM 推理系统的隐私保护技能蒸馏
P2Skill: Privacy Preserving Skill Distillation for Cloud-Local LLM Inference Systems
AI 导读
P2Skill 是一种基于提示词的技能蒸馏方法,让本地小模型自主执行四项技能,由云端 LLM 根据执行失败迭代优化技能,使本地 SLM 泛化到记忆化的 PII 模式之外,最终技能在设定边界内按最低验证泄露率选取。该方法无需隐私专用微调或学习型辅助检测器。在真实用户查询上,三种本地 SLM 中表现最佳者搭配 P2Skill 时,传输的标注标识符少于所有将文本发往云端的现有隐私保护方法。
正文 · AI 翻译
摘要:云-本地 LLM 推理可以利用大型云模型的推理能力,但发往云的请求必须排除个人可识别信息(PII)。现有的隐私保护方法会修改提示词或模型,这可能扭曲上下文语义或需要额外训练。本文提出 P2Skill,一种基于提示词的技能蒸馏方法,其中本地小型语言模型(SLM)自主执行四项技能。云 LLM 根据执行失败迭代优化这些技能,使本地 SLM 能够泛化到记忆的 PII 模式之外,最终技能在设定边界内以最低验证泄漏率被选出。P2Skill 不需要针对隐私的微调或学习型辅助检测器。在真实用户查询上,三个本地 SLM 中表现最佳的 P2Skill 所传输的标注标识符少于所有将文本发送到云的现有隐私保护方法,并且在泄漏率最接近的方法中更常保持质量,尽管完全本地作答更常保持质量。
| 学科: | 密码学与安全(cs.CR);人工智能(cs.AI) |
| 引用为: | arXiv:2608.14094 [cs.CR] |
| (或使用 arXiv:2608.14094v2 [cs.CR] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2608.14094 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Ryu Myunghoon [查看电子邮件]
[v1]
2026年8月14日星期五 08:56:11 UTC(4,010 KB)
[v2]
2026年10月13日星期二 08:15:56 UTC(3,538 KB)
来源:arXiv cs.AI · arxiv.org