arXiv cs.AI· Shangquan Sun, Wenjun Luo, Xu He, Yoonsoo Lee, Shijian Lu·· 11 小时前AI 评分31
AnomalyAgent：用视觉语言模型智能体集成做视觉异常检测
Agentic Ensemble with Vision-Language Models for Visual Anomaly Detection
AI 导读
研究者提出后训练融合框架 AnomalyAgent，用受限视觉语言模型（VLM）检查高冲突样本，从 score 动作与 map 动作中选择融合策略，替代固定融合规则。在 MVTec AD 和 VisA 上，其平均图像 AUROC 与像素 AP 优于对比的融合方法，并优于等权融合，另在七个公开异常基准和 Real-IAD 上验证了跨域迁移。
正文 · AI 翻译
摘要：视觉异常检测旨在检测异常对象，而模型训练时异常样本往往稀缺。集成多个预训练检测器可以借助其可迁移的图像分数和异常图来提供帮助。然而，大多数现有集成方法对已保存的预测应用固定的融合规则，当预训练检测器由于不同的训练目标、先验和视觉表示而明显不一致时，这些方法难以奏效。为此，我们设计了 AnomalyAgent，一个用于准确视觉异常检测的后训练融合框架。AnomalyAgent 对齐异构的分数和图，汇总分数级和区域级的分歧，并将融合视为有限的动作选择问题。它实现两类动作：1）分数动作，通过共识、稳健聚合、检测器加权或分数-图一致性来确定如何融合图像级检测器置信度；2）图动作，通过共识、检测器加权、几何聚合或分歧校正来融合稠密异常响应。引入一个受约束的视觉语言模型（VLM）来检查高冲突样本，并选择有效的分数动作和图动作以产生最终预测。我们在 MVTec AD 和 VisA 作为主要基准上评估 AnomalyAgent，并额外使用七个公开异常基准和 Real-IAD 进行大规模分数级评估。在这些基准上，AnomalyAgent 始终优于等权融合，并在 MVTec AD 和 VisA 上在所比较的融合方法中取得最佳平均图像 AUROC 和像素 AP，同时在额外的异常领域展现出稳健的迁移能力。
| 评论： | 10 页，2 幅图，13 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28560 [cs.AI] |
| （或 arXiv:2610.28560v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28560 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shang-Quan Sun [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 17:22:25 UTC（6,253 KB）
来源：arXiv cs.AI · arxiv.org