arXiv cs.AI· Yucheng Wu, Chengyi Xie, Chenpeng Wang, Liangming Pan·· 14 小时前AI 评分31
CANS：面向大语言模型的能力保持神经元引导框架
CANS: Capability-Preserving Neuron Steering for Large Language Models
AI 导读
研究者提出 CANS（Capability-Preserving Neuron Steering）框架，通过目标 token 对数概率与通用输入输出分布 KL 散度两个代理量的局部近似得到闭式解，实现无需训练和额外推理开销的神经元级引导。
正文 · AI 翻译
摘要：激活引导为大型语言模型的目标行为提供了免训练的动态控制，但现有方法可能损害通用能力，且需要针对特定领域设计干预方案。我们提出能力保持神经元引导（Capability-Preserving Neuron Steering, CANS），这是一个在目标行为控制与能力保持之间取得平衡的统一框架。为使目标行为提升与通用能力保持变得可处理，我们引入两个代理指标：模型生成回复中目标 token 的对数概率，以及通用输入上的输出分布 KL 散度。结合这两个代理指标的局部近似可得到闭式解，从而实现轻量级引导，无需迭代模型训练或额外的推理时计算。由此得到的逐神经元缩放系数在实现有效引导的同时限制了通用能力损失。一套共享的数据构建与干预流程支持跨领域适配，使用经过目标行为过滤和目标片段标注的采样回复。在 Qwen 和 Llama 模型上的安全性、毒性和幻觉控制任务中，CANS 实现了与 SFT、CAA 和神经元级基线相当或更好的引导效果，同时更好地保持了 MMLU、BBH 和 IFEval 性能。在 Qwen3-4B 上，CANS 将 HarmBench 攻击成功率从 $15.50\%$ 降至 $1.75\%$，平均能力仅下降 $1.11$ 分。这些结果支持 CANS 作为跨领域行为控制的实用方法。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35530 [cs.AI] |
| （或 arXiv:2610.35530v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35530 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yucheng Wu [查看邮箱]
[v1]
2026年10月26日 星期一 14:45:23 UTC（4,851 KB）
来源：arXiv cs.AI · arxiv.org