arXiv cs.CL· Meriem Terki, Nouhaila Innan, Minghao Shao, Muhammad Kashif, Alberto Marchisio, Muhammad Shafique·· 6 天前AI 评分22
QTestBench：评估 LLM 生成量子代码的测试框架
QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code
AI 导读
研究团队提出 QTestBench，用独立基准检查器评估 LLM 生成的量子测试套件，而非将测试本身视为真值。在八个 PennyLane QHack 挑战和十个 Qiskit HumanEval 任务上测试五个 LLM，生成套件几乎都能执行，但最佳生成器的测试质量仅为 QHack 0.71、Qiskit HumanEval 0.34。
正文 · AI 翻译
摘要：大型语言模型（LLM）在经典代码生成方面已展现出强劲表现，并越来越多地被用于编写保障这些代码的单元测试。它们能否对量子软件做到同样的事则不那么明确，因为量子程序具有概率性、依赖数值容差，并且由领域特定的检查器来评判，因此一个形式良好的测试仍可能与基准的判定不一致。现有的量子基准衡量的是模型能否产生正确的解，而非其测试能否区分正确实现与错误实现。我们提出 QTestBench，一个将 LLM 生成的量子测试套件与独立基准检查器进行对照评估的框架，绝不将测试本身视为真值。对于每个任务，QTestBench 提示模型生成语法、语义和行为测试，在运行时注入候选解，并在三个验证队列下将每个测试的判定与检查器的标签进行比较，每个队列回答一个不同的诊断问题。我们在八个 PennyLane QHack 挑战和十个 Qiskit HumanEval 任务上对五个 LLM 进行了基准测试。生成的测试套件几乎总能执行，但区分能力却滞后：最佳生成器在 QHack 上达到 0.71 的测试质量，在 Qiskit HumanEval 上为 0.34，因此仅凭可执行性会高估测试质量。当自然错误解稀缺时——如十个 Qiskit 任务中有三个未产生任何错误解——经预言机验证的合成变异体可稳定缺陷检测估计。QTestBench 为 LLM 生成的量子测试的可信度提供了一个可复现、跨框架的基准。
| 评论： | 已被 2026 年 IEEE 第二届国际量子人工智能会议（QAI）接收，2026 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；量子物理（quant-ph） |
| 引用为： | arXiv:2610.13811 [cs.LG] |
| （或 arXiv:2610.13811v1 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.13811 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nouhaila Innan [查看邮箱]
[v1]
2026 年 10 月 9 日星期五 16:23:46 UTC（207 KB）
来源：arXiv cs.CL · arxiv.org