arXiv cs.CY· Huy Nguyen, Don\'at \'Akos K\"oller, Levente Murg\'as, J\'ozsef Pint\'er, Marcell Nagy, Kate Barnes, Roland Molontay·· 23 小时前AI 评分24
表情包模板识别研究:半开放集识别方法对比
Meme Template Identification in the Wild: Comparing Methods for Semi-Open-Set Recognition
AI 导读
研究将表情包模板识别形式化为半开放集识别问题,要求方法既能分类已知模板,又能拒识无模板表情包和非表情包内容。在真实社交媒体样本中,仅21%图像使用已知模板,58%无模板,21%并非表情包,最佳MCC从受控设置的0.974降至0.684,性能损失主要来自判断图像是否为模板表情包。
正文 · AI 翻译
摘要:图文模因(meme)是在线交流的主要形式,其传播很大程度上通过模因模板进行——模因模板是用户用新文本或图像加以改编的反复出现的视觉格式。以往大多数工作对单个模因的参与度或有害内容进行评分,这种方法在结构上对模板视而不见。模板可能放大这些模式并促成协同骚扰,而只有当模因按共享模板分组时,这一点才会显现。我们将模因模板识别形式化为一个半开集识别问题,要求方法既能对已知模板进行分类,又能拒绝无模板模因和非模因内容。我们引入了一个评估框架,涵盖受控环境(1,704 个 ImgFlip 模板)和异构的真实社交媒体样本,比较了监督式 CNN 方法和基于距离的方法、无监督的基于密度的聚类、一种新颖的融合 SigLIP2+DINOv2 表示,以及检索增强的 LLM 流水线。在专门用于模因分享的真实社交媒体来源中,我们发现只有 21% 的图像使用已知模板,而 58% 是无模板的,21% 根本不是模因;识别性能也从受控环境急剧下降(最佳 MCC 从 0.974 降至 0.684)。损失主要来自判断图像是否是基于模板的模因,而非识别模板本身。我们包含 110 万张软标签社交媒体图像的数据集以及可复现性代码可应要求提供。
| 评论: | 18 页,4 幅图 |
| 主题: | 计算机与社会(cs.CY) |
| ACM 分类: | I.4.0; I.5.3; J.4; K.4.2 |
| 引用为: | arXiv:2408.08126 [cs.CY] |
| (或此版本的 arXiv:2408.08126v3 [cs.CY]) | |
| https://doi.org/10.48550/arXiv.2408.08126 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Roland Molontay [查看电子邮件]
[v1]
2024 年 8 月 15 日星期四 12:52:06 UTC(5,678 KB)
[v2]
2026 年 9 月 28 日星期一 10:00:17 UTC(2,684 KB)
[v3]
2026 年 11 月 18 日星期三 16:52:55 UTC(2,684 KB)
来源:arXiv cs.CY · arxiv.org