跳到正文
arXiv cs.CL· Albert Alcalde, Giovanni Fantuzzi, Enrique Zuazua·· 9 小时前AI 评分26

纯注意力 hardmax Transformer 中的聚类现象及其在情感分析中的作用

Clustering in pure-attention hardmax transformers and its role in sentiment analysis

AI 导读

研究严格刻画了采用 hardmax 自注意力与归一化子层的 Transformer 在层数趋于无穷时的行为,证明输入会渐近收敛到由“leader”点决定的聚类平衡态。基于该理论,作者构建了一个完全可解释的 Transformer 模型用于情感分析,通过将无意义词围绕承载语义的 leader 词聚类来捕捉上下文。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:Transformer 是非常成功的机器学习模型,但其数学性质仍鲜为人知。本文严格刻画了当层数趋于无穷时,具有 hardmax 自注意力与归一化子层的 Transformer 的行为。通过将此类 Transformer 视为描述欧几里得空间中点演化的离散时间动力系统,并借助基于超平面分离的自注意力机制几何解释,我们证明 Transformer 的输入渐近收敛到一个由称为\textit{leaders}的特殊点所确定的聚类平衡态。随后,我们利用这一理论理解,使用一个完全可解释的 Transformer 模型来解决语言处理中的情感分析问题,该模型通过将无意义的词聚集在承载最多含义的 leader 词周围,有效地捕捉了“上下文”。最后,我们概述了弥合 Transformer 数学分析与实际实现之间差距所面临的剩余挑战。
评论: 由欧盟 HORIZON-MSCA-2021-DN-01-01 通过 ModConFlex 项目(“与流体相互作用的柔性结构的建模与控制”;资助协议编号 101073558;DOI:此 https URL)资助。配套代码见:此 https URL,代码 DOI:此 https URL
主题: 计算与语言(cs.CL);机器学习(cs.LG);动力系统(math.DS);机器学习(stat.ML)
MSC 分类号: 68T07, 68T50
引用为: arXiv:2407.01602 [cs.CL]
  (或 arXiv:2407.01602v3 [cs.CL] 对应本版本)
  https://doi.org/10.48550/arXiv.2407.01602

arXiv 颁发的 DOI(通过 DataCite)

期刊 参考: SIAM Journal on Mathematics of Data Science 7(3):1367-1393, 2025
相关 DOI: https://doi.org/10.1137/24M167086X

链接到相关资源的 DOI

提交历史

来自:Albert Alcalde [查看邮箱]
[v1] 2024 年 6 月 26 日周三 16:13:35 UTC(394 KB)
[v2] 2026 年 5 月 13 日周三 09:54:58 UTC(749 KB)
[v3] 2026 年 11 月 17 日周二 15:11:58 UTC(749 KB)

来源:arXiv cs.CL · arxiv.org