arXiv cs.CL· Marco Bronzini, Carlo Nicolini, Bruno Lepri, Jacopo Staiano, Andrea Passerini·· 12 小时前AI 评分32
Hyperdimensional Probe：用向量符号架构解码 LLM 表征
Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures
AI 导读
研究者提出 Hyperdimensional Probe，一种结合符号表示与神经探测的混合监督探针，借助 Vector Symbolic Architectures（VSAs）与超向量代数统一了监督探针、SAE 稀疏代理空间和 logit 输出分析三种路径。
正文 · AI 翻译
摘要：尽管大语言模型（LLM）能力出众，但其内部表征仍不透明，人们对其理解有限。当前的可解释性方法要么侧重于面向输入的特征提取，例如监督探针和稀疏自编码器（SAE），要么侧重于输出分布检查，例如基于 logit 的方法。然而，要全面理解 LLM 向量空间，需要整合这两种视角，而现有方法由于潜在特征定义的约束而难以做到这一点。我们提出了超维探针（Hyperdimensional Probe），这是一种将符号表示与神经探针相结合的混合监督探针。借助向量符号架构（VSA）和超向量代数，它统一了先前的方法：监督探针的自顶向下可解释性、SAE 由稀疏性驱动的代理空间，以及面向输出的 logit 研究。通过将传统探针的监督学习范式与 SAE 基于字典的表示原理相结合，我们的方法能够实现更深入的以输入为中心的特征提取，同时支持面向输出的分析。我们的实验表明，该方法在不同的 LLM、嵌入尺寸和配置下都能一致地提取有意义的语义信息，并在两种不同的场景中揭示出面向概念的 LLM 推理洞见：输入补全任务和以问答为重点的文本生成。基于 VSA 的探针克服了基于 logit 的分析受模型词表限制的局限，同时也缓解了 SAE 在概念特征空间有界的情况下往往产生噪声较大的可解释性结果的问题。通过支持对输入输出特征的联合研究，这项工作推进了对神经表征的语义理解，同时统一了先前方法中互补的视角。
| 评论： | 发表于 Transactions on Machine Learning Research (TMLR) |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2509.25045 [cs.CL] |
| （或本版本的 arXiv:2509.25045v4 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2509.25045 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Transactions on Machine Learning Research (TMLR), 2026 |
提交历史
来自：Marco Bronzini [查看邮箱]
[v1]
2025年9月29日 星期一 16:59:07 UTC（3,200 KB）
[v2]
2025年12月2日 星期二 13:09:44 UTC（3,200 KB）
[v3]
2026年7月21日 星期二 17:53:19 UTC（3,261 KB）
[v4]
2026年10月21日 星期三 09:31:21 UTC（3,276 KB）
来源：arXiv cs.CL · arxiv.org