arXiv cs.CL· Tzu-Ling Lin, Dong-Ting Yao, Teng-Fang Hsiao, Wei-Chih Chen, Hong-Han Shuai·· 10 天前AI 评分25
HalluPeer：面向科学同行评审幻觉检测的分类学驱动基准
HalluPeer: A Taxonomy-driven Benchmark for Detecting Hallucinations in Scientific Peer Reviews
AI 导读
HalluPeer 是一个用于检测科学同行评审中幻觉的基准，提供论文内容、人工评审与注入幻觉评审对齐的三元组，支持检测、分类与定位。该基准基于同行评审专属幻觉分类学构建，在 12K 篇论文和 38K 条评审上实验显示，现有检测器难以区分幻觉与合理批评，且这些幻觉模式在真实评审中确实存在。该工作已被 EMNLP Findings 2026 接收。
正文 · AI 翻译
摘要：学术同行评审规模的不断增长，促使人们使用大语言模型（LLM）作为评审助手，然而 LLM 可能生成流畅但缺乏依据的论断，从而损害评审的可靠性。现有的幻觉基准并非为同行评审而设计，在同行评审中，验证需要将论断建立在长篇技术论文之上。我们提出了 HalluPeer，一个用于检测科学同行评审中幻觉的基准，提供论文内容、人工撰写的评审意见和注入幻觉的评审意见三者对齐的三元组，并针对检测、分类和定位进行了标注。我们的流程归纳出针对同行评审的幻觉分类体系，识别评审上下文，并通过自动过滤注入幻觉。在 12K 篇论文和 38K 条评审意见上的实验表明，现有检测器难以将幻觉与合理批评区分开来，而对真实评审意见的评估表明，HalluPeer 所定义的幻觉模式确实出现在真实的同行评审中，凸显了来源感知验证的迫切需求。我们的项目页面见 此 https URL
| 评论： | 已被 EMNLP Findings 2026 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用格式： | arXiv:2609.03580 [cs.AI] |
| （或本版本使用 arXiv:2609.03580v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.03580 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tzu-Ling Lin [查看邮箱]
[v1]
2026年9月3日星期四 09:27:54 UTC（5,226 KB）
[v2]
2026年10月7日星期三 09:42:16 UTC（5,112 KB）
来源：arXiv cs.CL · arxiv.org