arXiv cs.CL· Teerawat Tongloy, Jiraporn Pongsopa, Rangsan Jomtarak·· 10 小时前AI 评分32
基于量子测量与精确词证据的 Born Transformer：在光量子与量子比特上实现可解释注意力
Reading Why: Born-Measured Attention with Exact Word Evidence on Light and Qubits
AI 导读
研究者构建了 Born Transformer，将注意力、前馈非线性与读出全部改为 Born 测量，使每个类别的概率成为词振幅的多项式，其积分梯度证据可由有限求积精确计算，词贡献求和与类别概率的误差在 10⁻¹¹ 以内。
正文 · AI 翻译
摘要：当语言模型给出答案时，我们通常只能推测其原因。我们构建了一个 transformer，其中每一步都是一次 Born 测量——注意力 $|\langle q|k\rangle|^4$ 按行归一化，用测量得到的乘积替代前馈非线性，以及一个 Born 读出。将其分母保持为输入时的值，每个类别的概率都是词振幅的多项式，因此其积分梯度证据可由有限求积计算得出，且无求积误差：各词的贡献之和等于类别概率超出其无信息份额的部分，精度达到 $10^{-11}$ 或更好。在 e-SNLI 自然语言推理任务上，嵌入层之外约有 98k 参数，模型达到 $76.98 \pm 0.17$% 的测试准确率，与同等大小的 softmax transformer（$76.62 \pm 0.36$%）持平。删除其证据排名第一的词，会在 45% 的测试对中改变答案，而任何单次删除能改变答案的比例为 53%；作为对比，以同样方式解释的 softmax 模型为 32%，其注意力×梯度为 40%。注意力看起来可以与证据一样接近标注者高亮的词，但对答案的解释力较差：删除其排名第一的词，在 32% 的测试对中改变了 Born Transformer 的答案。相同的权重可精确编译为光电子光学系统和量子比特，一个相干注意力层可变为一个等同于该模型的电路（23 个量子比特上 852 个 CNOT 门）。在 IBM 的 ibm_kingston 上，仅通过 Hadamard 测试读取注意力重叠，该设备给出了模型的答案，在删除一个词时也是如此。使用与重叠电路同样深的校准电路，每个词的证据结合设备的注意力行和，与精确证据相符（在预先选定的两对样本上相关系数分别为 0.997 和 0.932）；当一对样本的证据是大幅相反项的小总和时，早先的运行表明并非如此，我们解释了原因。
| 评论： | 27 页，8 幅图，12 张表。代码、训练好的模型及所有 IBM 作业记录：此 https URL（doi:https://doi.org/10.5281/zenodo.23938333） |
| 主题： | 量子物理（quant-ph）；计算与语言（cs.CL）；机器学习（cs.LG）；光学（physics.optics） |
| 引用为： | arXiv:2611.05355 [quant-ph] |
| （或 arXiv:2611.05355v2 [quant-ph] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.05355 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Teerawat Tongloy [查看邮箱]
[v1]
2026 年 11 月 3 日星期二 18:52:44 UTC（300 KB）
[v2]
2026 年 11 月 4 日星期三 16:21:50 UTC（346 KB）
来源：arXiv cs.CL · arxiv.org