层论分解Transformer表征，免训练检索超LEACE

研究者Bryce Grant与Peng Wang提出一种基于层论（sheaf）的Transformer表征分解方法：在释义图上构建胞腔层，无需训练即可通过Laplacian得到内容子空间。 在8个模型的CounterFact事实检索任务上，仅用20维核平均超过LEACE全维子空间17.1个百分点；对同一事实的所有释义施加联合约束后，再提升6.5个百分点。 该方法的目标是把局部上下文粘合成全局语义，上述提升幅度为研究者报告的结果。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。