arXiv cs.AI· Toni J. B. Liu, Baran Zadeo\u{g}lu, Gurbir Arora, Rapha\"el Sarfati, Nicolas Boull\'e, Christopher J. Earls·· 13 小时前AI 评分32
Jacobian Scopes：面向 LLM Token 级归因的统一几何框架
Jacobian Scopes: A Unified Geometric Framework for Token-Level LLM Attribution
AI 导读
研究者提出 Jacobian Scopes，一套基于梯度的 Token 级因果归因方法，用于解释 LLM 预测中哪些输入 Token 影响最大，可量化特定 logit、完整预测分布与模型不确定性（有效温度）。
正文 · AI 翻译
摘要：大型语言模型（LLM）基于其上下文中存在的线索（如语义描述和上下文示例）进行下一词元预测。然而，由于现代架构中层和注意力头的数量激增，阐明哪些先前词元对给定预测影响最大仍然具有挑战性。我们提出 Jacobian Scopes，一套基于梯度的、词元级别的因果归因方法，用于解释 LLM 预测。Jacobian Scopes 以扰动理论和信息几何为基础，量化输入词元如何影响模型预测的各个方面，例如特定 logit、完整预测分布以及模型不确定性（有效温度）。通过涵盖指令理解、翻译和上下文学习（ICL）的案例研究，我们展示了 Jacobian Scopes 如何揭示隐含的政治偏见、发现词级和短语级翻译策略，并阐明近期备受争议的上下文时间序列预测机制。在六个 LLM 的词元消融忠实度基准（LAMBADA 和 IWSLT2017）上，分布级别的 Fisher 和 Temperature Scopes 在 12 个模型-数据集设置中的 10 个里显著优于现有的基于梯度的归因方法。为便于在自定义文本上探索 Jacobian Scopes，我们开源了实现，并在此 https URL提供云端托管的交互式演示。
| 评论： | 35 页，17 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.16407 [cs.CL] |
| （或 arXiv:2601.16407v5 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2601.16407 arXiv 颁发的 DOI 通过 DataCite |
|
| 期刊 参考： | 作为会议论文发表于 Neurips 2026 |
提交历史
来自：Jianbang Liu [查看邮箱]
[v1]
2026 年 1 月 23 日星期五 02:36:38 UTC（7,914 KB）
[v2]
2026 年 3 月 15 日星期日 23:40:50 UTC（9,356 KB）
[v3]
2026 年 6 月 11 日星期四 18:04:05 UTC（9,440 KB）
[v4]
2026 年 6 月 15 日星期一 18:41:08 UTC（9,441 KB）
[v5]
2026 年 10 月 27 日星期二 21:49:55 UTC（9,462 KB）
来源：arXiv cs.AI · arxiv.org