arXiv cs.CL· Idan Simai, Shauli Ravfogel, Uri Shaham·· 11 小时前AI 评分31
基于条件自编码器的原则性非线性概念擦除与表征引导
Principled Nonlinear Concept Erasure and Steering
AI 导读
研究者提出一种基于条件自编码器的原则性框架，用于非线性概念擦除，在完美重建与总体独立性假设下可证明实现完美的非线性防护。该方法在多个数据集、敏感属性和语言模型上取得更优的效用-擦除权衡，无需目标任务标签即超越竞品的监督变体，且优化更简单、收敛更快。该框架还附带概念转换（表征引导）能力，推理时仅改变目标概念即可生成不同概念值的表征，无需额外训练成本。
正文 · AI 翻译
摘要：学习到的表示往往编码了敏感属性，例如性别或种族，而这些信息可能不宜或不宜安全地保留。概念擦除旨在移除这些信息，同时保留与任务相关的内容。现有方法仍不完善：线性方法仅能保证抵御线性探针，而非线性方法虽能实现更强的经验性擦除，却缺乏形式化保证，且往往牺牲效用。在本工作中，我们提出了一个用于非线性概念擦除的有原则的条件自编码器框架。我们遵循的原则是：擦除应仅移除敏感属性而不移除其他任何内容；我们证明，在所述假设下，完美重建与总体层面的独立性足以实现完美的非线性防护，并在不完美重建情形下提供保留保证。在实证上，我们在多个数据集、敏感属性和语言模型上取得了更优的效用-擦除权衡，尽管未使用目标任务标签，仍超越了竞争方法的监督变体，同时优化更简单、收敛显著更快。除擦除外，我们的框架还作为副产品实现了概念转换（表示引导）：在推理时仅改变目标概念，即可产生对应不同概念值的表示——无需额外训练成本——这是此前任何擦除方法都无法提供的能力，我们同样在该能力上展示了强劲的实证表现。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32516 [cs.LG] |
| （或 arXiv:2610.32516v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32516 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Idan Simai [查看电子邮件]
[v1]
2026年10月23日星期五 11:44:02 UTC（137 KB）
来源：arXiv cs.CL · arxiv.org