arXiv cs.CL· Anthony Nguyen, Wenjun Lin·· 10 小时前AI 评分38
研究：上下文压缩会削弱模型的拒答对齐吗？
Does Context Compression Preserve Refusal Alignment?
AI 导读
研究发现，基于编码器的上下文压缩虽重建保真度高，却会系统性削弱指令微调语言模型的拒答行为，且该效应跨模型家族与压缩架构普遍存在。机制分析显示压缩会衰减解码器拒答方向上的激活，而推理时干预方法 Memory Steering 可在不重训练的情况下将拒答率恢复至接近基线水平。
正文 · AI 翻译
摘要：上下文压缩通过将输入编码为紧凑表示来降低推理成本，同时保留语义内容。一个悬而未决的问题是，仅靠语义保留是否足以维持下游行为，例如拒绝对齐。我们研究了这一问题，发现基于编码器的压缩会系统性地削弱指令微调语言模型中的拒绝行为，尽管重建保真度很高。这一效应在不同模型家族和压缩架构中持续存在。机制分析表明，压缩会沿解码器学习到的拒绝方向衰减激活。我们进一步探索了 Memory Steering，这是一种轻量级的推理时干预方法，无需重新训练即可将拒绝率恢复到接近基线水平，并且完全在压缩表示空间中运行。这些结果表明，语义保留并不能保证压缩下的行为保留，凸显了在压缩感知系统中显式保留对齐相关特征的必要性。
| 评论： | 发表于 Canadian AI 2026 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06380 [cs.AI] |
| （或 arXiv:2611.06380v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06380 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anthony Nguyen [查看电子邮件]
[v1]
2026年11月4日星期三 11:42:42 UTC（583 KB）
来源：arXiv cs.CL · arxiv.org