arXiv cs.AI· Mitchell Ostrow, Daoyuan Qian, Toni Liu, Ila Fiete·· 11 小时前AI 评分34
Jacobian lens（J-lens）的数学理论
A Mathematical Theory of the Jacobian Lens
AI 导读
研究提出 Jacobian lens（J-lens）的数学理论，证明该工具优先识别具有空间相干性的 Lyapunov 模式特征——沿这些方向的扰动会跨层放大、在 token 位置上大致恒定且跨上下文一致。作者在 Bayes filter 和 toy transformer 上验证了分析，并推出可强调不同时间尺度信息处理的 ω-J-lens 系列。
正文 · AI 翻译
摘要：Anthropic 近期的工作引入了一种新的可解释性工具，称为 Jacobian lens（J-lens，Gurnee 等，2026）。该方法在前沿语言模型的隐藏状态中识别出具有类似工作记忆表征特性的线性方向。然而，此类特征的哪些机制性属性使其能被 J-lens 检测到，目前尚不清楚。为此，我们提出了 J-lens 的数学理论，并证明它优先识别连贯特征——即表现得像主导的、空间连贯的 Lyapunov 模式的方向。沿这些方向的小扰动会跨层放大，在 token 位置上大致保持恒定，并在不同上下文中保持一致。虽然我们对这些属性是否必然与“全局工作空间”相关联持不可知态度，但 J-lens 经解析推导出的偏好仍能解释此前应用于两类模型的实证结果。我们在一个贝叶斯滤波器和一个玩具 transformer 上验证了我们的分析，二者均能最优地预测由隐马尔可夫模型（HMM）发出的下一个 token。我们展示了如何调节改变贝叶斯滤波器中特征连贯性的任务参数，从而相应地、可预测地调节 J-lens 的响应。我们还引入了一族旨在强调 LLM 中不同时间尺度信息处理的 J-lens，我们称之为 $\omega$-J-lens。
| 评论： | 27 页，19 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2610.31955 [cs.LG] |
| （或 arXiv:2610.31955v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31955 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mitchell Ostrow [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 22:03:03 UTC（927 KB）
来源：arXiv cs.AI · arxiv.org