arXiv cs.CL· Agnibh Dasgupta, Abdullah Tanvir, Xin Zhong·· 11 小时前AI 评分22
语言模型中的不变特征：几何刻画与模型归因
Invariant Features in Language Models: Geometric Characterization and Model Attribution
AI 导读
研究提出局部几何框架，将语义等价输入的表示刻画为潜空间中沿冗余方向变化、语义身份保存在不变子空间的结构，并给出不变潜特征的几何刻画与区分语义变化/语义保持变化的对比子空间发现方法。该不变表示可用于零样本模型归因，实验显示不变结构出现在特定深度区域，表示级干预表明不变成分对模型输出具有因果作用。论文已被 NeurIPS 2026 接收，代码已公开。
正文 · AI 翻译
摘要：语言模型对改述表现出很强的鲁棒性，这表明语义信息可能通过稳定的内部表征进行编码，但这种不变性的结构和来源仍不清楚。我们提出了一个局部几何框架，其中语义等价的输入产生的表征占据潜在空间中的结构化区域，改述性变化沿冗余方向分布，而语义身份保留在不变子空间中。基于这一观点，我们做出三项贡献：(1) 对不变潜在特征的几何刻画，(2) 一种对比子空间发现方法，用于区分改变语义的变化与保持语义的变化，(3) 将不变表征应用于零样本模型归因。跨模型和层级的实证结果支持这些贡献。不变结构出现在特定的深度区域，语义位移主要位于冗余子空间之外，表征层面的干预表明不变成分在模型输出中具有因果作用。不变表征还捕捉到模型特定的几何模式，从而实现准确的归因。总之，这些发现支持对语言模型表征中语义不变性的局部几何刻画。
| 评论： | 本文被 NeurIPS 2026 接收。代码可在 此 https URL 获取 |
| 主题： | 机器学习 (cs.LG)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2605.06458 [cs.LG] |
| （或 arXiv:2605.06458v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06458 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xin Zhong [查看邮箱]
[v1]
2026年5月7日星期四 15:50:31 UTC (3,999 KB)
[v2]
2026年11月4日星期三 20:46:10 UTC (4,006 KB)
来源：arXiv cs.CL · arxiv.org