arXiv cs.CL· Andr\'es Daniel Godoy Ortiz·· 12 小时前AI 评分31
论文提出「意义契约」：大语言模型中的局部语义几何
Meaning Contracts: Local Semantic Geometry in Large Language Models
AI 导读
一篇 arXiv 论文提出「意义契约」框架，用跨语言探针和细化探针刻画大语言模型概念内部的局部语义几何，在 Gemma 4、Llama 3.2、Qwen 2.5、Pythia 四个架构各异的 decoder-only 模型上验证。研究发现，均值池化下移除主方差方向后，句对可按语义相关度分层排序且层带间无重叠；语义因子围绕不变核心组织，细化会使表征定向位移进入更紧致的邻域。
正文 · AI 翻译
摘要：本文研究大语言模型中语义含义的局部几何结构。当前的表示分析关注含义在嵌入空间中是否接近，或线性探针能否区分语义类别，但并未刻画概念内部的局部几何：在单一语义因子的不同实现中，哪些保持不变、哪些发生变化，以及当含义被细化时会发生什么变化。本文通过在四个架构各异的仅解码器 LLM（Gemma 4、Llama 3.2、Qwen 2.5、Pythia）上评估的两个受控探针来刻画该几何结构。跨语言探针以语言作为扰动，区分精确含义匹配、同因子实现、邻近概念和域外对比。细化探针区分承载具体性的语义收窄与高概率定语性扩展及对抗性对照；两个探针均通过盲人工判断验证。四项发现在所有模型中反复出现：在均值池化下，一旦移除主导方差方向，句子对在一系列层上按语义相关性排序（同因子、然后同域、然后不同域）且无重叠；语义因子围绕一个不变核心组织，周围是结构化的、特定于实现的变化；细化产生向更紧密邻域的有向位移，包括针对基于同一基础名词构建的对照；句子级和词元局部读出揭示互补的几何结构（句子级体积收缩，词元局部读出端点的各向异性更尖锐）。我们将这些结果解释为证据，表明 LLM 语义被组织为局部各向异性邻域，其中含义在细化下收缩。
| 评论： | 24 页，8 幅图。代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7；I.2.4 |
| 引用为： | arXiv:2610.30715 [cs.CL] |
| （或 arXiv:2610.30715v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30715 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Andres Godoy Ortiz [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 04:32:30 UTC（8,880 KB）
来源：arXiv cs.CL · arxiv.org