arXiv cs.AI· Aymen Lassoued, Angelique Loesch, Romaric Audigier·· 11 小时前AI 评分34
ABACUS：评估图像编辑模型在场景保持下的物体类别与计数能力基准
ABACUS: A Benchmark for Image Editing Models to Assess Object Category and Counting Under Scene Conservation
AI 导读
ABACUS 是一个面向数值图像编辑的新基准、评测协议与专用评分指标，采用无评判模型方式，在实例级对照由检测器共识确认的全景真值，核查增、删、改操作是否达到精确数量且保持场景其余部分不变。
正文 · AI 翻译
摘要：基于指令的图像编辑模型现在可以在保留场景的同时添加、删除指定数量的对象或更改其类别。然而，这些模型往往无法生成正确的数量，而且随着场景变得更复杂、请求的数量增加，这些失败会急剧增多。当前的基准测试在很大程度上忽略了这一问题：它们用整体相似度指标或视觉语言模型（VLM）评判器来给编辑打分，而这些评判器本身就不擅长计数，因此数值错误要么未被发现，要么被错误评分。结果，当今编辑模型的真实数值能力从未被准确测量过。我们通过 ABACUS 来解决这一问题，这是一个用于数值图像编辑的新基准、评估协议和专用评分指标。我们的协议无需评判器：没有 VLM 或 MLLM 对编辑打分或对对象计数（VLM 仅确认罕见歧义裁剪块的类别）。相反，它针对经检测器共识确认的全景真值，在实例级别验证每次编辑，在添加、删除和更改操作中同时检查是否达到了确切请求的数量以及场景其余部分是否得到保留。通过评估领先的图像编辑器，我们的方法揭示了大量数值编辑失败，这些失败随着场景复杂度和对象数量的增加而加剧；而此前的基准测试往往忽视了这些失败或对其判断有误。
| 评论： | 已被 WACV 2027（评估与数据集 track）接收。代码和数据：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28316 [cs.CV] |
| （或 arXiv:2610.28316v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28316 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aymen Lassoued [查看电子邮件]
[v1]
2026年10月20日星期二 14:53:22 UTC（39,589 KB）
来源：arXiv cs.AI · arxiv.org