研究提出逐实体坐标系下的关系组合注意力机制

Aakash Sarkar、Ananya Mukherjee 与 Motoshige Sato 提交的论文把注意力机制中逐实体坐标系的自由度当作一种对称性，分析在正交传输下，注意力分数只依赖范数与传输内积，等变消息落在 x_i 与 T_ij x_j 的张成空间内。 实验显示，在最小宽度下，17/17 个拟合种子通过了长度 1000 的测试，而双倍宽度只有 7/18 通过；在解析后的 CLUTRR 上，传输式组合在 4–10 跳上比匹配的 Transformer 高 41 分，但强制等距会损失 65 分。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。