arXiv cs.CL· Albert Alcalde, Giovanni Fantuzzi, Enrique Zuazua·· 9 小时前AI 评分26
纯注意力 hardmax Transformer 中的聚类现象及其在情感分析中的作用
Clustering in pure-attention hardmax transformers and its role in sentiment analysis
AI 导读
研究严格刻画了采用 hardmax 自注意力与归一化子层的 Transformer 在层数趋于无穷时的行为,证明输入会渐近收敛到由“leader”点决定的聚类平衡态。基于该理论,作者构建了一个完全可解释的 Transformer 模型用于情感分析,通过将无意义词围绕承载语义的 leader 词聚类来捕捉上下文。
正文 · AI 翻译
摘要:Transformer 是非常成功的机器学习模型,但其数学性质仍鲜为人知。本文严格刻画了当层数趋于无穷时,具有 hardmax 自注意力与归一化子层的 Transformer 的行为。通过将此类 Transformer 视为描述欧几里得空间中点演化的离散时间动力系统,并借助基于超平面分离的自注意力机制几何解释,我们证明 Transformer 的输入渐近收敛到一个由称为\textit{leaders}的特殊点所确定的聚类平衡态。随后,我们利用这一理论理解,使用一个完全可解释的 Transformer 模型来解决语言处理中的情感分析问题,该模型通过将无意义的词聚集在承载最多含义的 leader 词周围,有效地捕捉了“上下文”。最后,我们概述了弥合 Transformer 数学分析与实际实现之间差距所面临的剩余挑战。
| 评论: | 由欧盟 HORIZON-MSCA-2021-DN-01-01 通过 ModConFlex 项目(“与流体相互作用的柔性结构的建模与控制”;资助协议编号 101073558;DOI:此 https URL)资助。配套代码见:此 https URL,代码 DOI:此 https URL |
| 主题: | 计算与语言(cs.CL);机器学习(cs.LG);动力系统(math.DS);机器学习(stat.ML) |
| MSC 分类号: | 68T07, 68T50 |
| 引用为: | arXiv:2407.01602 [cs.CL] |
| (或 arXiv:2407.01602v3 [cs.CL] 对应本版本) | |
| https://doi.org/10.48550/arXiv.2407.01602 arXiv 颁发的 DOI(通过 DataCite) |
|
| 期刊 参考: | SIAM Journal on Mathematics of Data Science 7(3):1367-1393, 2025 |
| 相关 DOI: | https://doi.org/10.1137/24M167086X
链接到相关资源的 DOI |
提交历史
来自:Albert Alcalde [查看邮箱]
[v1]
2024 年 6 月 26 日周三 16:13:35 UTC(394 KB)
[v2]
2026 年 5 月 13 日周三 09:54:58 UTC(749 KB)
[v3]
2026 年 11 月 17 日周二 15:11:58 UTC(749 KB)
来源:arXiv cs.CL · arxiv.org