arXiv cs.AI· Ruikang Zhang, Shuo Wang, Qi Su·· 3 天前AI 评分10
基于稀疏自编码器检索与调控 LLM 高阶语义特征的研究被撤回
Mechanistic Knobs in LLMs: Retrieving and Steering High-Order Semantic Features via Sparse Autoencoders
AI 导读
该论文已被作者 Ruikang Zhang 撤回，原因是论文经过大幅重构，新版本已提交为 arXiv:2607.26853。原研究提出基于稀疏自编码器的框架，通过受控语义对立的对比特征检索流程，从稀疏激活空间中提取单义功能特征，并以大五人格特质为案例实现模型行为的双向精准调控，同时提出"功能忠实性"效应。
正文 · AI 翻译
本文已被张瑞康撤回
摘要：机械可解释性（MI）领域近期的工作使得识别和干预大型语言模型（LLM）的内部特征成为可能。然而，一个持续存在的挑战在于，如何将这些内部特征与语言生成中复杂、行为级语义属性的可靠控制联系起来。在本文中，我们提出了一个基于稀疏自编码器的框架，用于检索和引导与高层语言行为相关的、语义可解释的内部特征。我们的方法采用基于受控语义对立的对比特征检索流程，结合统计激活分析和基于生成的验证，从稀疏激活空间中提炼出单义的功能特征。以“大五”人格特质为案例研究，我们证明我们的方法能够实现对模型行为的精确、双向引导，同时相比现有的激活引导方法（如对比激活添加（CAA））保持更优的稳定性和性能。我们进一步识别出一种经验效应，我们将其称为功能忠实性，即干预某一特定内部特征会引发与目标语义属性一致的、跨多个语言维度的连贯且可预测的变化。我们的发现表明，LLM 内化了高阶概念的深度整合表征，并为复杂 AI 行为的调控提供了一条新颖、稳健的机制路径。
| 评论： | 本文已进行大幅重构，新版本已作为 arXiv:2607.26853 提交 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.02978 [cs.CL] |
| （或 arXiv:2601.02978v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.02978 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：张瑞康 [查看邮箱]
[v1]
2026年1月6日星期二 12:40:37 UTC（621 KB）
[v2]
2026年4月7日星期二 02:46:06 UTC（626 KB）
[v3]
2026年10月13日星期二 12:15:54 UTC（1 KB）（已撤回）
来源：arXiv cs.AI · arxiv.org