arXiv cs.CL· Qizhou Wang, Jiawen Zhu, Guansong Pang, Christopher Leckie·· 11 小时前AI 评分29
AnomalyJev：用声明级验证评估图像异常解释
AnomalyJev: Towards Evaluating Image Anomaly Explanations via Claim-Level Verification
AI 导读
AnomalyJev 是一个轻量框架，通过从多模态 LLM 生成的异常检测解释中提取可验证声明，并与真实标注比对来评估解释的忠实度与完整性，无需 token 生成。研究构建了含 640 条解释、超 1,600 条专家评分的评测集，覆盖域内与跨数据集设置。AnomalyJev 与人类标注者的一致性超过多数开源 MLLM 评判器，接近旗舰 MLLM 评判器水平，而运行时间和资源消耗仅为其一小部分。
正文 · AI 翻译
摘要：近期基于多模态大语言模型（MLLM）的异常检测（AD）方法能够生成文本解释，以帮助解读其预测结果。然而，可靠且高效地评估这些解释仍然具有挑战性。虽然 LLM 评判器可以通过结构化评分标准来评估解释，但它们通常需要生成大量 token，导致评估成本高昂且难以扩展。我们转而提出将评估锚定在可用的真实标注上，即从每个解释中提取可验证的断言，并将其与相应的标注进行核验。我们将这一思路实例化为 AnomalyJev，这是一个轻量级框架，它使用由真实标注定义的查询和基于指针的头部，从上下文化表示中提取可验证的断言，而无需生成 token。随后，这些断言会与真实标注进行核验，以对忠实性和完整性进行评分。在评估方面，我们构建了一个人工标注的集合，包含 640 条解释，以及在域内和跨数据集设置下超过 1,600 条专家评分。尽管设计紧凑，AnomalyJev 与人类标注者的一致性仍强于大多数开放 MLLM 评判器，并接近旗舰 MLLM 评判器的水平，而运行时间和资源仅为其一小部分。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7; I.4.9; I.2.10 |
| 引用为： | arXiv:2610.27565 [cs.CV] |
| （或 arXiv:2610.27565v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27565 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qizhou Wang [查看电子邮件]
[v1]
2026年10月20日星期二 03:29:08 UTC（832 KB）
来源：arXiv cs.CL · arxiv.org