arXiv cs.AI· Maforikan Amoussou, Borja Aizpurua, Sukhbinder Singh, Rom\'an Or\'us, Hans-Arno Jacobsen·· 1 天前AI 评分22
多头量子神经网络：用 NISQ 模块替换 300 亿参数 LLM 中的 Transformer 块
Multi-head Quantum Neural Networks: Replacing Transformer Blocks with NISQ Modules inside a 30-Billion-Parameter LLM
AI 导读
研究者提出多头量子神经网络（QNN），在 Qwen3-30B-A3B-Instruct-2507 上用仅 145,281 个可训练参数替换连续 8 个 Transformer 块，移除模型 16.33% 的参数且精度损失很小。
正文 · AI 翻译
摘要：我们提出了多头量子神经网络（QNN），这是一种与含噪中等规模量子（NISQ）设备兼容的量子模块，能够替换预训练大语言模型（LLM）内部的 transformer 块，精度损失很小，且参数数量远少于其所替换的块。将模型的 $D$ 个隐藏神经元编码到量子比特寄存器中是难点：振幅编码在电路深度上扩展性差，角度编码在量子比特数量上扩展性差，因此两者在生产规模宽度下都不实用。我们改为将隐藏空间划分为 $k$ 个不相交的头，将每个头角度编码到一个 $n_q$ 量子比特寄存器中，并行处理这些头，并通过受约束的经典线性层（混合器）将它们耦合起来。对 Qwen3-30B-A3B-Instruct-2507 进行手术式改造，我们证明单个具有 $145\,281$ 个可训练参数（$D=2048$、$k=32$、$n_q=8$、$L=4$）的多头 QNN 可以替换连续八个 transformer 块，替换掉模型 $16.33\%$ 的参数。消融实验表明，对于单个被替换的块，是量子头（电路后接学习到的读出层）而非仅经典混合器恢复了被替换的功能；而对于融合的连续块，仅混合器在困惑度上就能达到完整模块的 $1$-$3\%$ 以内。这一收益是否特定于经过训练的纠缠量子电路尚未确定：关闭纠缠器的对照实验（两个种子），或将电路冻结在其初始角度或均匀随机角度（一个种子），在留出困惑度上优于完整模块，而参数匹配的经典多层感知机仍比完整模块领先几个百分点。我们通过精确态矢量模拟进行经典训练，然后在 $156$ 量子比特的 IBM Heron 处理器上执行融合检查点的量子头，表明 NISQ 规模的量子模块可以安装在生产规模的 LLM 中并在硬件上运行。
| 评论： | 24 页，5 幅图，21 张表 |
| 主题： | 量子物理（quant-ph）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.15250 [quant-ph] |
| （或 arXiv:2611.15250v1 [quant-ph] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.15250 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Borja Aizpurua Altuna [查看邮箱]
[v1]
2026 年 11 月 11 日星期三 09:39:14 UTC（179 KB）
来源：arXiv cs.AI · arxiv.org