arXiv cs.AI· Jialin Wu, Meenakshi Khosla·· 3 天前AI 评分22
大语言模型表征对齐的规模、驱动因素与局限
Scale, Drivers, and Limits of Representational Alignment Across Large Language Models
AI 导读
研究提出 Neighborhood-Weighted RSA 与 Counterfactual RSA 两种方法，用于定位大语言模型在何处表征一致、以及何种语言属性支撑这种一致。结果显示，模型在粗粒度表征几何上高度一致，但在局部邻域存在显著分歧；逻辑辖域扰动对对齐的削弱远大于层级句法、事件角色或语篇结构的扰动。
正文 · AI 翻译
摘要：比较大型语言模型可以揭示它们之间共享的表征结构和系统性差异。然而，聚合相似度度量可能会掩盖一致性如何随几何尺度变化，以及哪些语言属性支撑这种一致性。我们引入两种互补方法来解析模型在何处一致以及是什么支撑了这种一致性。标准表征相似性分析（RSA）汇总所有刺激对之间的相似性，可能掩盖邻近输入与远距离输入之间对齐程度的差异。邻域加权 RSA（NW-RSA）通过根据刺激对在表征空间中的邻近程度对其加权来解决这一局限，将局部邻域到全局几何的对齐置于同一尺度上。反事实 RSA（CF-RSA）通过将一个模型中的完整表征与另一个模型在受控语言扰动下的表征进行比较，来检验哪些语言属性支撑对齐。在多种语言模型中，我们发现粗粒度表征几何上存在高度一致性，但在局部邻域中存在显著分歧。对齐既在广泛采样的自然文本中观察到，也在保留特定意义或结构方面的语言等价类中观察到。反事实分析揭示了选择性敏感性：对逻辑辖域的改变使对齐的降低程度远大于所测试的对层级句法、事件角色或语篇结构的改变。当词表和胡言乱语句子中的句子结构或词汇意义被破坏时，对齐也会降低，这表明自然语言的规律性支撑了更强的趋同。这些发现通过表明强烈的整体相似性并不必然意味着模型在如何表征更细粒度的语言区分上一致，从而修正了关于表征普遍性的论断。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14476 [cs.CL] |
| （或 arXiv:2610.14476v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14476 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jialin Wu [查看电子邮件]
[v1]
2026年10月10日星期六 02:12:32 UTC（1,167 KB）
来源：arXiv cs.AI · arxiv.org