arXiv cs.CL· Marek Masiak, Andrzej Szablewski, Nicola Cancedda, Constantin Venhoff·· 11 小时前AI 评分34
TopKLoRA：可解释稀疏微调实现忠实电路发现
Interpretable sparse fine-tuning with TopKLoRA enables faithful circuit discovery
AI 导读
TopKLoRA 是一种按设计可解释的 LoRA 变体，每个 token 仅激活 k 个最大的适配器隐变量，且仅用下游损失训练。研究在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中定位并消融了实现后门所必需且充分的电路，所得稀疏电路比稠密 LoRA 基线小最多一个数量级，且不牺牲指令遵循性能。
正文 · AI 翻译
摘要：在来源未知的数据集上进行微调时，如果数据中包含被投毒的样本，就会在训练后的模型中植入后门。后门难以定位和移除，并且能够在安全训练中持续存在。虽然参数高效微调方法能够捕捉训练过程中引入的全部参数变化，但这些变化不易解释。我们提出 TopKLoRA 的完整方法，扩展了 Masiak 等人（2025）的初步方案，这是一种设计上可解释的 LoRA 变体，其中每个 token 只有 $k$ 个最大的适配器隐变量处于激活状态。与 SAE 不同，TopKLoRA 完全在下游损失上训练，优化压力促使模型学习功能上具有因果性的隐变量。我们在一个“潜伏特工”后门案例研究中展示了这种稀疏 LoRA 适配器：通过在投毒的指令跟随数据集上微调 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 来构建模型生物。对于每个模型生物，我们识别并消融了一个对实现后门既必要又充分的电路。此外，我们的新微调方法产生的稀疏电路比稠密 LoRA 基线小至多一个数量级，从而能够在不牺牲指令跟随性能的情况下对恶意能力进行外科手术式消融。最后，我们提出一种利用 TopKLoRA 隐变量和梯度路由构建具有局部化电路的模型生物的技术，并用它来验证我们电路搜索算法的发现。我们认为这些发现是朝着设计上可解释、能够提供忠实分析单元且不损害模型性能的架构迈出的一步。我们公开了代码：此 https URL。
| 评论： | 29 页，10 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32866 [cs.LG] |
| （或 arXiv:2610.32866v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.32866 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marek Masiak [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 16:37:29 UTC（149 KB）
来源：arXiv cs.CL · arxiv.org