arXiv cs.CL· Masoud Ataei·· 11 小时前AI 评分31
Transformer 注意力认证的锥规划理论
Conic Certification of Transformer Attention
AI 导读
研究者提出一种锥规划理论，为 Transformer 注意力头的输出扰动边界提供紧致性保证，并证明认证难点源于可变 query 与 key 的双线性交互，而非 softmax。
正文 · AI 翻译
摘要：注意力是大语言模型的计算核心，然而，用于界定注意力头输出在输入扰动下能移动多远的验证器，并不能保证其界限有多宽松。因此，一个弱的证书无法与一个脆弱的模型区分开来。我们发展了一种注意力认证的锥规划理论，提供了这种保证。我们证明，困难不在于 softmax，而在于变化的查询与键的双线性交互。这种交互使得在盒约束上的认证是 NP 难的，并且一旦注意力 logits 能移动一个常数，就不可近似。相比之下，固定查询或列出的 token 替换使精确最坏情况可高效计算。然后，一个指数锥矩松弛用一个可计算量以扰动半径的二次方为界来认证一个头，这个阶数无法改进。我们还表明，一次处理一个网络操作的松弛，包括其中的线性界限传播，在二阶项上付出的是每个操作最大值的和，而不是一个耦合的最大值。在 GPT-2 上的计算结果表明，该理论适用于训练过的模型。与查询固定时的精确最坏情况相比，该证书达到了预测的二阶精度。它在每个头上都比线性界限传播更紧，而界限传播的宽松度与预测的每操作超额相符。
| 评论： | 56 页，5 幅图，6 张表。代码和数据：此 https URL |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算与语言 (cs.CL)；优化与控制 (math.OC) |
| 引用为： | arXiv:2611.00585 [cs.LG] |
| （或 arXiv:2611.00585v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.00585 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Masoud Ataei [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 03:28:37 UTC（485 KB）
来源：arXiv cs.CL · arxiv.org