arXiv cs.AI· Md. Nakib, Sudipto Sarkar, A. J. A. Jubayer Talukder, Mohammad Ariful Haque·· 13 小时前AI 评分31
PairCLIP-SWA：用相似度引导平衡与随机权重平均提升 OpenCLIP 深度伪造图像检测泛化性
PairCLIP-SWA: Similarity-Guided Balancing and Stochastic Weight Averaging for Generalized Deepfake Image Detection with OpenCLIP
AI 导读
PairCLIP-SWA 用单骨干 OpenCLIP ViT-L/14 检测深度伪造图像，在 IEEE SP Cup 2025（DF-Wild-Cup）基准上达到 97.04% 准确率、98.64% AU-ROC 和 4.07% 等错误率，优于最强已发表三骨干集成模型的 94.46%、97.60% 和 5.00%。
正文 · AI 翻译
摘要：深度伪造检测器几乎总是被部署为在验证集划分上得分最高的单个检查点，然而这一选择的可靠性却很少被衡量。我们通过 PairCLIP-SWA 对其进行衡量：这是一种单骨干检测器，它通过渐进式模块解冻，在由 CLIP 相似度引导的一对一子采样构建的类别平衡语料库上，对 OpenCLIP ViT-L/14 视觉塔进行适配，并在权重空间中对微调轨迹取平均。在与已发表的最强三骨干集成相同的协议下，于 IEEE SP Cup 2025（DF-Wild-Cup）基准上进行域内训练，权重平均后的检测器达到 97.04% 的准确率、98.64% 的 AU-ROC 和 4.07% 的等错误率，而对照结果分别为 94.46%、97.60% 和 5.00%。其训练日志显示了平均为何重要：在被平均的各个 epoch 上，未平均的检查点在验证准确率上波动达 5.34 个百分点，同时其验证损失增加了一倍以上，而平均值从未更差，且最多好 5.99 个百分点。在由 OpenForensics 衍生的基准上，同样的不稳定性变成了排序错误：验证准确率选出的检查点（98.43%）在一个不相交的 10,905 张图像测试划分上得分 88.85%，拒绝了 21.1% 的真实照片，而最终平均值在验证集上排名最后，却得分 94.76%。对相同 DF-Wild-Cup 划分上的二十二种内部配置（包括预处理消融）的研究表明，驱动准确率的是 CLIP 预训练而非集成，次级人脸裁剪损失约 34 个百分点，频域输入迁移效果很差。我们建议根据早停划分来测量各类别的选择标准。
| 评论： | 15 页，8 幅图，12 张表。代码和实验输出：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| ACM 分类： | I.2.6；I.4.9；I.5.4 |
| 引用为： | arXiv:2610.37874 [cs.CV] |
| （或本版本的 arXiv:2610.37874v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.37874 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sudipto Sarkar [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 19:18:11 UTC（4,594 KB）
来源：arXiv cs.AI · arxiv.org