arXiv cs.AI· Aakash Sarkar, Ananya Mukherjee, Motoshige Sato·· 14 小时前AI 评分31
关系组合即平行移动：逐实体坐标系在注意力机制中强制了什么
Relational Composition as Parallel Transport: What Per-Entity Frames Force in Attention
AI 导读
研究将逐实体坐标系自由度视为一种对称性，分析正交传输下注意力机制的不变分数只依赖范数与传输内积，等变消息落在 x_i 与 T_ij x_j 的张成空间内。实验显示最小宽度下 17/17 个拟合种子通过长度 1000 的测试，而双倍宽度仅 7/18；在解析后的 CLUTRR 上，传输式组合在 4-10 跳上比匹配的 Transformer 高 41 分，但强制等距会损失 65 分。
正文 · AI 翻译
摘要：点积只有在两个向量共享同一坐标系时才有意义。内容词有坐标系；一个新实体则没有：仅旋转其坐标不会改变任何东西。我们将这种逐实体的坐标系自由度视为一种对称性，并追问它在注意力机制中强制了什么。对于正交传输，不变分数仅取决于范数和传输后的内积 $\langle x_i,T_{ij}x_j\rangle$；等变消息位于 $x_i$ 与 $T_{ij}x_j$ 的张成空间中。端点通道数限制了传输的秩，因此当每个实体只有一个向量时，关系必须由外部提供；标准注意力是共享坐标系的平坦扇区。表示论为每种机制附加一个整数；读出方式决定是哪一个。在正交转移下，凸单元读出恰好在其最小忠实实表示维度或以上才能精确复合一个有限群。在此最小值处，精确性强制要求一个忠实表示。偶读出可以在更小的宽度下解码一个覆盖，且差距无界。低于其阈值时，机制无法看到的那部分群设定了一个可在训练前计算的准确率上限。在最小宽度下，17/17 个拟合种子通过了长度 1000 的测试，而在两倍宽度下为 7/18；12 个模型仅凭权重就携带了到显式长度的正确性证书。在 $C_3\times A_4$（忠实宽度 5）上，宽度 4 的下降在符号盲注意力下学到了 72 状态的双覆盖（6/48 个种子；单调 0/48）；在冻结覆盖上，交叉熵最优的仿射头是均匀的，二次头是精确的。在解析后的 CLUTRR 上，传输复合在 4-10 跳时比匹配的 transformer 高出 41 分，但强制等距会损失 65 分；在 StepGame 的交换代数上，等距有帮助。静态嵌入给每个词一个向量；上下文模型给每次出现一个自己的向量；逐实体坐标系使每个关系成为一个算子，即关系复合的单位。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；形式语言与自动机理论（cs.FL） |
| 引用为： | arXiv:2610.34945 [cs.LG] |
| （或 arXiv:2610.34945v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34945 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aakash Sarkar [查看电子邮件]
[v1]
2026年10月26日星期一 07:11:23 UTC（230 KB）
来源：arXiv cs.AI · arxiv.org