arXiv cs.AI· Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz G\"unther·· 3 天前AI 评分22
从关联到激活：比较 LLM 中行为与隐藏状态的语义几何
From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs
AI 导读
研究者在八个指令微调 Transformer 模型上，用相似性强制选择和自由联想两种范式、共享 5000 词词表收集 1750 万+ 试次，构建基于行为的相似度矩阵。表征相似性分析显示，强制选择行为与隐藏状态几何的对齐程度显著高于自由联想；在留出词回归中，行为相似度（尤其强制选择）能预测未见词的隐藏状态相似度，超出词汇基线和跨模型共识。
正文 · AI 翻译
摘要：我们研究了在心理语言学实验中，LLM 的隐藏状态几何结构能在多大程度上从其行为中被恢复。我们在八个指令微调的 transformer 模型上，针对一个共享的 5,000 词词表运行了两种实验范式——基于相似度的强制选择和自由联想——收集了 1750 万次以上的试验，以构建基于行为的相似度矩阵。使用表征相似性分析，我们将行为几何结构与逐层隐藏状态相似度进行比较，并以 FastText、BERT 和跨模型共识作为基准。我们发现，强制选择行为与隐藏状态几何结构的一致性显著高于自由联想。在留出词回归中，行为相似度（尤其是强制选择）能够预测未见过的隐藏状态相似度，且超越了词汇基线模型和跨模型共识，这表明仅基于行为的测量保留了关于内部语义几何结构的可恢复信息。最后，我们讨论了行为任务揭示隐藏认知状态的能力所蕴含的意义。
| 评论： | 发表于第 43 届国际机器学习大会（ICML 2026），韩国首尔。27 页，16 幅图，6 张表。代码：此 https URL。数据：此 https URL。 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2602.00628 [cs.LG] |
| （或 arXiv:2602.00628v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.00628 arXiv 颁发的 DOI，通过 DataCite |
|
| 期刊 参考： | 第 43 届国际机器学习大会（ICML 2026）论文集，PMLR 306，2026 |
提交历史
来自：Louis Schiekiera [查看电子邮件]
[v1]
2026 年 1 月 31 日星期六 09:50:55 UTC（2,387 KB）
[v2]
2026 年 2 月 16 日星期一 12:30:19 UTC（2,387 KB）
[v3]
2026 年 10 月 12 日星期一 22:47:25 UTC（2,409 KB）
来源：arXiv cs.AI · arxiv.org