arXiv cs.AI· Md Khalid Syfullah, Alvi Ataur Khalil·· 12 小时前AI 评分24
量子层能否为视觉语言模型带来性能与安全优势？LLaVA-OneVision 实验研究
Can Quantum Layers offer Performance and Security Advantages in Vision-Language Models?
AI 导读
研究以 LLaVA-OneVision 为骨干，用经典模拟的量子层在视觉语言模型中测试 4 与 8 qubit 的 basic-ring 和强纠缠电路，覆盖 4 个插入位置与 4 个替换位置。
正文 · AI 翻译
摘要：随着量子计算从含噪中等规模量子（NISQ）时代迈向早期容错量子计算（EFTQC），量子增强 AI 正从概念构想转向实验研究。量子组件有望扩展现有 AI 系统的能力，但这些组件将如何在大规模多模态模型中发挥作用仍不清楚。本研究尝试利用经典模拟的量子层，为视觉语言模型（VLM）回答这一问题。我们以 LLaVA-OneVision 为骨干，在四个插入位置和四个替换位置上评估了 4 量子比特和 8 量子比特的基本环形电路与强纠缠电路。插入是将量子层添加到经典模型中，替换则是用其替代经典组件。采用相同设置，我们比较了经典模型与量子-经典混合模型的性能和计算成本。在 Visual Spatial Reasoning 数据集上，在视觉投影器之后插入量子层达到 80.7% 的开发集准确率，比经典全量微调高 2.28 个百分点。替换最终解码器前馈子层则保持 79.22% 的准确率，同时可训练参数减少 1307 万个。因此，量子插入可以提高准确率，选择性替换可以减少参数。这些收益在很大程度上取决于量子层的插入位置或所替换的经典组件：较早的替换会降低准确率，而参数更少并不能可靠地缩短训练时间或减少计算量。为评估潜在的安全收益，我们评估了量子-经典混合模型在六种攻击设置下的鲁棒性。总体而言，我们的研究描绘了量子层在 VLM 中何处有益、何处有害，为混合 VLM 设计提供了起点；这些收益能否泛化仍有待研究。代码可在 this https URL 获取。
| 学科： | 量子物理（quant-ph）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28964 [quant-ph] |
| （或 arXiv:2610.28964v1 [quant-ph] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28964 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Md Khalid Syfullah [查看邮箱]
[v1]
2026年10月20日星期二 22:28:17 UTC（552 KB）
来源：arXiv cs.AI · arxiv.org