arXiv cs.AI· Simiao Ren (Dennis), Yao Yao (Dennis), Kidus Zewde (Dennis), Zisheng Liang (Dennis), Tsang (Dennis), Ng (Dennis), Ning-Yau Cheng, Xiaoou Zhan, Qinzhe Liu, Yifei Chen, Hengwei Xu·· 14 小时前AI 评分36
多模态（推理）LLM 能否胜任深度伪造检测器？
Can Multi-modal (reasoning) LLMs work as deepfake detectors?
AI 导读
研究基准测试了 12 个最新多模态 LLM（含 OpenAI O1/4o、Gemini thinking Flash 2、DeepSeek Janus、Grok 3、Llama 3.2、Qwen 2/2.5 VL、Mistral Pixtral、Claude 3.5/3.7 Sonnet）的深度伪造图像检测能力。
正文 · AI 翻译
摘要：在先进生成模型时代，深度伪造检测仍然是一项关键挑战，尤其是随着合成媒体变得日益复杂。在本研究中，我们探索了最先进的多模态（推理）大语言模型（LLM）在深度伪造图像检测中的潜力，例如（OpenAI O1/4o、Gemini thinking Flash 2、Deepseek Janus、Grok 3、llama 3.2、Qwen 2/2.5 VL、Mistral Pixtral、Claude 3.5/3.7 sonnet）。我们在多个数据集上对 12 个最新多模态 LLM 与传统深度伪造检测方法进行了基准测试，其中包括近期发布的真实世界深度伪造图像。为提升性能，我们采用了提示调优，并对模型的推理路径进行了深入分析，以识别其决策过程中的关键影响因素。我们的研究结果表明，表现最好的多模态 LLM 在零样本情况下取得了有竞争力的性能和良好的泛化能力，在分布外数据集上甚至超越了传统深度伪造检测流程，而其余 LLM 系列的表现则非常令人失望，部分甚至不如随机猜测。此外，我们发现更新的模型版本和推理能力对深度伪造检测这类细分任务的性能没有贡献，而模型规模在某些情况下确实有帮助。本研究凸显了在未来深度伪造检测框架中整合多模态推理的潜力，并为真实世界场景中模型可解释性与鲁棒性提供了见解。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2503.20084 [cs.CV] |
| （或使用 arXiv:2503.20084v3 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2503.20084 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Simiao Ren [查看邮箱]
[v1]
2025年3月25日 星期二 21:47:29 UTC（7,022 KB）
[v2]
2025年3月29日 星期六 19:19:14 UTC（7,653 KB）
[v3]
2026年10月24日 星期六 21:33:33 UTC（7,654 KB）
来源：arXiv cs.AI · arxiv.org