arXiv cs.AI· Fabrizia Giulia Garavaglia, Marco Giunti·· 1 天前AI 评分18
金字塔柱能否充当注意力头？一篇关于 Transformer 注意力头生物学构造的假设研究
Pyramidal Columns Acting as Attention Heads
AI 导读
一篇 arXiv 论文提出假设：后颞叶语言区（PTLRs）中适当组织的金字塔柱群，可能构成 Transformer 注意力头的生物学构造，即其神经形态机械实现的生物基础。
正文 · AI 翻译
摘要：Transformer 注意力头的功能架构能否被赋予一种生物学构造？更具体地说，在一种无需与标准 Transformer 实例化相一致的数学实例化下，后颞叶语言区（PTLRs）中一组合适的锥体柱能否构成注意力头神经形态机械实现的生物学构造？本文通过考察注意力头的功能组织与参与人类语言处理的锥体柱内部及跨锥体柱运作的神经生理机制之间可能存在的对应关系，来研究这一假设。我们的分析建立在将 Transformer 注意力头描述为由输出-输入和输出-权重互连连接的简单神经网络系统的机械-结构描述之上。我们考察注意力头的功能组织及其产生的输入依赖变换，并追问相应的处理关系如何在生物神经组织中构造出来。随后，我们识别出锥体柱内部及跨锥体柱的信号传递与调制的候选神经机制，这些机制可能共同支持这样的构造。在此基础上，我们提出，PTLRs 中一组组织得当的锥体柱可以构成注意力头神经形态机械实现的生物学构造。所要求的功能组织是否确实存在于 PTLRs 中，仍是一个有待实证回答的开放问题。该假设并不要求生物系统复现 Transformer 注意力的标准数学实例化：同一功能架构可以以不同方式被机械实现和数学实例化，并与其生物学构造相一致。
| 评论： | v1：正文（20 页，7 图）及补充材料（12 图） |
| 主题： | 神经元与认知（q-bio.NC）；人工智能（cs.AI）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2611.16057 [q-bio.NC] |
| （或 arXiv:2611.16057v1 [q-bio.NC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16057 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marco Giunti [查看电子邮件]
[v1]
2026 年 11 月 11 日星期三 22:13:12 UTC（1,695 KB）
来源：arXiv cs.AI · arxiv.org