Variational-Ising-Attention：为科学任务定制注意力机制

查看 PDF HTML（实验性）

摘要：注意力机制通过查询-键评分与 softmax 归一化实现上下文建模。在工业长上下文需求的驱动下，主流研究已趋同于稀疏性与高效性，但 softmax 的独立性假设依然存在。然而，对于不受长 token 约束的科学任务而言，更丰富的结构化耦合往往至关重要，这使得定制化注意力既可行又更为合适。为此，我们提出变分伊辛注意力（VIA），它通过引入相互作用的伊辛模型来增强 softmax 归一化；注意力模式通过变分平均场推断从可学习的成对耦合中涌现，将注意力从对孤立项的排序扩展为对相互作用实体的集体状态。我们在逆合成反应中心预测以及作为受控内部消融的蛋白质残基接触预测上实例化了 VIA，这两个结构化预测任务均受协同约束支配：逆合成中的协同键断裂与蛋白质接触预测中的残基间相互作用。跨模型变体的全面实验，结合机制分析，表明 VIA 显著优于标准 softmax 注意力。更广泛地说，我们的发现表明，对于科学问题，最优解并非通用效率，而是与内在领域结构相匹配的适当定制化注意力。这项工作为该范式提供了理论扎实且经实证验证的实例。

评论：	24 页，约 30 幅图
学科：	机器学习（cs.LG）；人工智能（cs.AI）；化学物理（physics.chem-ph）
MSC 分类：	68T07, 68T05, 82B20, 92E10
ACM 分类：	I.2.6; I.2.8; J.3; G.3
引用为：	arXiv:2607.23634 [cs.LG]
	（或 arXiv:2607.23634v2 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2607.23634 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Rui Wang [查看邮箱]
[v1] 2026 年 7 月 26 日周日 12:44:36 UTC（9,309 KB）
[v2] 2026 年 10 月 5 日周一 23:24:22 UTC（10,699 KB）