跳到正文
arXiv cs.CL· Saeed AlMarri (Khalifa University)·· 9 小时前AI 评分18

零维注意力拓扑用于语言可接受性分类:BERT 注意力图 H0 表示未显优势

Zero-Dimensional Attention Topology for Linguistic Acceptability

AI 导读

一项研究将 144 个对称化 BERT 注意力图的最小生成树合并值汇总为 1440 维零维持续同调(H0)表示,用于语言可接受性分类。在 CoLA 验证集上,该拓扑表示的域外 Matthews 相关系数为 0.438,注意力统计量为 0.508,BERT 为 0.545。分析显示该表示保留 token 数量信息并丢弃一类方向性注意力差异,未证明其相对更简单的注意力摘要具有预测优势。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:Transformer 注意力的拓扑摘要为语言可接受性分类提供句子表示。我们考察了一种零维持久同调($H_0$)表示,它将 144 个对称化 BERT 注意力图的最小生成树合并值汇总为 1,440 个特征。回顾性评估在数据完整性过滤后使用了 8,517 个下游训练句子以及 521 个域内和 497 个域外 CoLA 验证句子。记录到的域外 Matthews 相关系数对于拓扑表示为 0.438,对于注意力统计为 0.508,而 BERT 为 0.545。注意力特征结果为保留的汇总测量值;BERT 预测被重新评分,长度控制根据随附记录重新拟合。分析结果表明,该表示保留了 token 计数信息,并丢弃了一类方向性注意力差异。对 BERT 预测的源重采样还证明了不确定性估计对采样单元的敏感性。所报告的结果并未证明这种固定拓扑表示相对于更简单的注意力摘要具有预测优势。它们识别了与后续注意力拓扑研究相关的表示属性和评估控制。
评论: 10 页,4 幅图,4 张表。代码和数据作为辅助文件提供
主题: 计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2611.22312 [cs.CL]
  (或 arXiv:2611.22312v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22312

arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

来自:Saeed AlMarri [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 07:08:36 UTC(876 KB)

来源:arXiv cs.CL · arxiv.org