arXiv cs.AI· Eunseob Choi, Kyeonghun Kim, Hyuk-Jae Lee, Nam-Joon Kim·· 1 天前AI 评分31
ReuScope：审计 Capsule Vision 2024 的数据复用与评估敏感性
ReuScope: Auditing Data Reuse and Evaluation Sensitivity in Capsule Vision 2024
AI 导读
ReuScope 是一套审计数据复用与评估敏感性的协议，以 Capsule Vision 2024 为案例，发现字节完全相同的文件跨越了公开训练-验证边界，全部 41 段 Kvasir-Capsule 录像均同时出现在两个分区。
正文 · AI 翻译
摘要：我们开发了 ReuScope，一个用于审计数据复用和评估敏感性的协议，并以 Capsule Vision 2024 作为案例研究。它将数据关系的测量与两项比较相结合：在保持预测固定的情况下改变评估总体，以及在保持评估固定的情况下改变训练数据。字节完全相同的文件跨越了公开的训练-验证边界，并且所有贡献帧的 41 个 Kvasir-Capsule 录制都同时出现在两个分区中。共享的源录制确立了跨划分重叠；缺失的跨录制患者标识符导致无法统计唯一共享患者。在十个配对种子中，移除所有归属于 Kvasir-Capsule 的训练行，以及来自其他来源、被标记为与其近似匹配的五行的训练行，使公开验证的平衡准确率从 82.5% 降至 61.2%。在其他来源的验证行上评估相同的已拟合模型，则得出相反的结论：移除使平衡准确率提高了 1.38 个百分点。公开验证的下降衡量的是对来源移除的敏感性，而非泄漏导致的膨胀量。匹配对照表明，仅样本量和类别计数并不能解释观察到的分数差异。一项探索性实验移除了与训练集有密切匹配的验证帧的训练邻居，或同等数量的远距离训练行，并得出相对于匹配的未标记帧的差中差估计值为真实类别概率的 -0.355 个百分点；准确率的配对 t 区间跨越零。由此产生的流程区分了观察到的复用与条件性能敏感性，并为每个结论指定了总体、类别支持和不确定性单位。
| 评论： | 已被 NeurIPS 2026 的评估与数据集方向接收。39 页，3 张图。代码和数据：此 https URL |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.41835 [cs.AI] |
| （或 arXiv:2610.41835v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41835 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Eunseob Choi [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 14:51:37 UTC（66 KB）
来源：arXiv cs.AI · arxiv.org