arXiv cs.AI· Rishikesh Mallagundla, Pranav Patel·· 10 小时前AI 评分31
TopicScope：用稀疏自编码器在 prefill 阶段训练、decode 阶段监控主题
Train on prefill, monitor at decode: Using sparse autoencoders for topic monitoring
AI 导读
TopicScope 框架在 SAE 特征上训练因果主题分类器，为模型回复中的每个 token 分配主题标签，标签可在生成中途变化。在 Gemma-3 1B 和 4B 上，用 prefill 隐藏状态特征训练的监控器能泛化到 decode 阶段，插入离题内容、删除主题或重排段落后最多只损失 5 个 macro-F1 点。
正文 · AI 翻译
摘要：主题监控是指在生成过程中为模型响应中的每个 token 标注主题的任务。在生成时运行的基于激活的监控器迄今为止一直被训练用于检测有害内容，并且仅限于两到三个类别。我们提出了 TopicScope，这是一个在 SAE 特征上训练因果主题分类器的框架，可为每个 token 分配一个主题，因此标签可以在响应中途发生变化。我们在涵盖七个主题的合成多主题对话上训练了三种检测器架构。在 Gemma-3 1B 和 4B 上，基于从预填充隐藏状态中提取的特征训练的监控器能够泛化到解码阶段。我们还发现，这些分类器对扰动具有鲁棒性，在插入离题旁白、移除主题或重新排列章节时，最多只损失 5 个 macro-F1 点。为理解 SAE 的贡献而进行的消融实验表明，在没有 SAE 的情况下达到基线性能的分类器要大好几倍。我们的研究结果表明，紧凑的主题监控器可以在预填充阶段以低成本训练，并在生成过程中部署。更广泛地说，我们的工作展示了 SAE 在安全分类之外的有用之处。我们的代码、数据集和检查点可在 此 https URL 和 此 https URL 获取
| 评论： | 22 页 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.12935 [cs.AI] |
| （或 arXiv:2611.12935v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12935 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Rishikesh Mallagundla [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 11:33:35 UTC（678 KB）
来源：arXiv cs.AI · arxiv.org