arXiv cs.CL· Chengshuai Zhao, Pingchuan Ma, Dawei Li, Bohan Jiang, Zhiyuan Yu, Zhen Tan, Huan Liu·· 12 小时前AI 评分38
TextCloak：用 RL 驱动的不可学习样本防止 LLM 未经授权微调
TextCloak: Safeguarding Data from Unauthorized LLM Fine-Tuning via RL-Driven Unlearnable Examples
AI 导读
TextCloak 是一个 RL 驱动的数据合成框架，通过向文本注入扰动生成不可学习样本，阻止 LLM 未经授权微调。其 UE 生成策略配合 GRPO-UE 模拟攻击者微调并以组相对策略优化奖励下游性能退化，形成双层优化循环。在六个公开数据集和九个 SOTA LLM 上，TextCloak 持续削弱未授权微调效果，同时保持文本对合法用途的可用性。
正文 · AI 翻译
摘要：大型语言模型（LLMs）的发展在广泛的语言任务上带来了显著进步，同时也引发了人们对未经授权的在线数据利用和隐私泄露日益增长的担忧。不可学习样本（UEs）作为一种有前景的防御手段出现，它通过向数据中注入精心构造的扰动，使得在这些数据上训练的模型表现出降低的效用。然而，现有的文本保护方法主要针对分类任务和判别式语言模型设计，这限制了它们在 LLMs 中的广泛适用性（例如指令遵循或推理）。在这项工作中，我们提出了 **TextCloak**，一个由强化学习驱动的数据合成框架，用于保护文本数据免受未经授权的 LLM 微调。TextCloak 采用一种 *UE 生成策略*，将干净文本转换为不可学习样本，同时保持语义保真度和语言自然度。为了优化该策略，我们引入了 **GRPO-UE**，它模拟攻击者的 LLM 微调，并通过组相对策略优化对下游性能退化给予奖励。这整体上形成了一个双层优化循环，使生成器能够发现有效的保护模式。在六个公开数据集和九个最先进的 LLMs 上进行的全面实验表明，TextCloak 能持续削弱未经授权的 LLM 微调，同时保持文本对合法用途的效用。进一步的分析证实了其在不同模型架构、训练配置和自适应攻击下的可迁移性和鲁棒性，凸显了其作为在线内容实用防御手段的广泛适用性。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；密码学与安全（cs.CR）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.28862 [cs.CL] |
| （或本版本的 arXiv:2607.28862v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2607.28862 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chengshuai Zhao [查看邮箱]
[v1]
2026年7月30日 周四 22:01:36 UTC（4,353 KB）
[v2]
2026年10月27日 周二 03:02:07 UTC（1,234 KB）
来源：arXiv cs.CL · arxiv.org