arXiv cs.AI· Kayoon Kim, Wieland Brendel, Patrik Reizinger·· 3 天前AI 评分36
HALLMARK：如何诊断 LLM 引用验证器并判断何时部署
HALLMARK: How to Diagnose LLM Citation Verifiers and When to Deploy Them
AI 导读
针对 LLM 引用验证器缺乏统一评测的问题，研究者发布 HALLMARK 基准，含 2,526 条 BibTeX 条目、覆盖 14 种幻觉类型，并提供分类型与诊断性子测试标签。
正文 · AI 翻译
摘要：GPTZero 发现 53 篇 NeurIPS 2025 录用论文存在幻觉引用，各会议现已使用自动化参考文献检查工具筛查投稿。基于规则和大语言模型（LLM）的验证器不断涌现，但许多在发布时缺乏共享的评估标准，且各自标记不同类型的错误，因此难以判断该信任哪一个或在何时部署它们。为此，我们提出 HALLMARK（幻觉基准）：包含 2,526 条 BibTeX 条目，涵盖 14 种幻觉类型，并带有按类型和诊断性子测试的标签，以及进一步的时间、跨领域和真实世界评估划分。我们评估了零样本和工具增强的 LLM、一个 DOI 查询基线，以及我们协同设计的基于规则的验证器 bibtex-updater。验证器可能漏掉幻觉，也可能错误标记正确论文，因此每个标记仍需人工复核。假阳性率（FPR）决定了复核工作量，从而限制了部署。所测试模型的 FPR 相差一个数量级；智能体式查询提高了召回率，却抬高了 FPR，而较小的模型和提示优化都无法达到前沿模型的工作点。采用 bibtex-updater 的两阶段级联可避免这种膨胀，鉴于其协同设计，提供了一个上界。然而，这些排名取决于什么算作幻觉：对描述真实作品但引用不准确的类型重新评分，会改变哪个验证器排名第一，而各会议尚未就定义达成一致。我们呼吁制定社区定义，并发布按类型标签和重新评分协议，以便任何商定的定义都能对每个验证器进行评分。
| Comments: | 预印本。70 页，7 幅图，47 张表。基准与代码：this https URL（v1.2.3）；验证工具：this https URL（v1.2.0） |
| Subjects: | 密码学与安全（cs.CR）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.18360 [cs.CR] |
| （或 arXiv:2607.18360v2 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.18360 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Kayoon Kim [查看电子邮件]
[v1]
2026年7月20日星期一 13:21:27 UTC（201 KB）
[v2]
2026年10月11日星期日 06:30:51 UTC（274 KB）
来源：arXiv cs.AI · arxiv.org