注意力即格点规范场论：关系仅通过 Wilson 环相互作用

查看 PDF HTML（实验性）

摘要：关系通过它们共享的实体进行复合——Alice 是 Bob 的母亲，Bob 是 Carol 的父亲，因此 Alice 是 Carol 的外祖母——而且顺序很重要，因为父亲的母亲不是母亲的父亲；验证一个复合关系意味着闭合环路。我们证明，如果每个实体的坐标框架可以独立旋转（逐实体框架自由度），那么会得出三件事。在纯规范扇区中，不共享任何环路的关系完全无法相互作用。三角形的唯一规范不变评分是其完整群 $H = T_{ij} T_{jk} T_{ki}$ 的类函数——一个 Wilson 环。而边的唯一等变更新是 $U = \Psi(H)\, T_{ij}$，其中 $\Psi$ 是共轭等变的。因此，通过 Wilson 环进行的边注意力并非众多设计中的一种，而是对称性所允许的唯一形式。三个领域各自持有这一形式的一部分：知识图谱的交换算子嵌入是它的阿贝尔（交换）扇区；AlphaFold 的三角形更新和 Edge Transformer 具有它的形状——通过第三个顶点更新一条边——但没有它的约束；而格点 QCD 在格点上等变地构建了它。我们在一般关系图上实例化等变子族，称为完整群注意力。在无训练且仅靠复合的情况下，它在稀疏图上推断未观测到的 $S_4$ 关系，在五分之一边被破坏时达到 0.88，达到或略低于专用同步算法，而每个交换架构的上限为 0.083；其完整群评分以 AUC 0.99 标记被破坏的三角形，而交换评分因第二条选择规则上限为 0.76，并且它能在无标签的情况下分离聚类。

提交历史

来自：Aakash Sarkar [查看电子邮件]
[v1] 2026 年 10 月 27 日星期二 17:58:48 UTC（35 KB）