arXiv cs.AI· Tue M. Cao, Nguyen Do, My T. Thai·· 10 小时前AI 评分31
用语义最优传输实现 SAE 特征匹配与电路压缩
Semantic Optimal Transport for Sparse Autoencoder Feature Matching and Circuit Compression
AI 导读
研究者提出一种基于分布的语义距离框架，用激活加权分布而非单一解码向量表示 SAE 特征，并通过投影到共享参考空间后用 Wasserstein 距离比较，统一解决跨层特征匹配与特征电路压缩两个问题。该方法在实验中优于解码向量和基于 LLM 的基线，并能自动将大型特征电路压缩为可解释的超级节点。论文已被 Neurips 2026 接收。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）已成为解读语言模型的核心工具。然而，有两项关键的 SAE 分析仍难以规模化：（1）跨多层匹配语义相似的特征；（2）将大型特征电路压缩为可解释的超级节点。尽管这两者一直被视为独立问题，我们证明它们都是同一个更根本挑战的实例，我们将其表述为估计位于不同激活流形上的 SAE 特征之间的语义距离。我们为此问题引入了一个分布框架，其中每个特征不再像文献中那样由单个解码器向量表示，而是由表达该特征的隐藏状态上的激活加权分布来表示。通过将这些分布投影到共享参考空间并用 Wasserstein 距离进行比较，我们的方法为跨层特征比较提供了统一的语义度量。我们证明我们的表示对激活缩放不变、在扰动下稳定，并在有限样本间隔条件下恢复真实匹配。在实证上，我们的方法优于基于解码器向量和基于 LLM 的基线，并捕捉到相关特征之间细微的功能差异。值得注意的是，我们的方法能自动将大型特征电路压缩为可解释的超级节点。
| 评论： | Neurips 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.28567 [cs.LG] |
| （或 arXiv:2605.28567v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.28567 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tue Minh Cao [查看电子邮件]
[v1]
2026年5月27日星期三 14:54:58 UTC（5,371 KB）
[v2]
2026年10月21日星期三 19:48:02 UTC（5,381 KB）
[v3]
2026年10月30日星期五 02:01:16 UTC（5,381 KB）
来源：arXiv cs.AI · arxiv.org