arXiv cs.CL· Jiahao Qin, Yiwen Wang·· 10 小时前AI 评分20
MoIF:面向多模态幽默检测的阶次选择性谱正则化交互过滤
M\"obius Interaction Filtering: Order-Selective Spectral Regularization for Multimodal Humor Detection
AI 导读
研究者提出 Möbius 交互过滤(MoIF),通过模态子集预测函数与聚合结构实现阶次选择性谱正则化,在保留高阶交互表示的同时调控其对预测的贡献。在 UR-FUNNY 上五种子实验取得 70.6% 准确率与加权 F1,超过 13 种复现方法,扰动下标签对齐信噪比较联合训练三模态预测器提升 1.62-2.79 倍。
正文 · AI 翻译
摘要:多模态幽默检测需要联合解读语言、声音表达和视觉行为。表达融合还必须调节不同阶次的交互如何进入最终判断。我们提出莫比乌斯交互过滤(MoIF),它学习一个模态子集预测函数,并通过其聚合结构施加阶次选择性的谱正则化。私有时间编码器和平衡互惠交互构建有监督的单模态、双模态和三模态预测器。它们的均匀聚合恰好是一个莫比乌斯域滤波器,其交互阶次响应呈几何递减。该公式保留了高阶表示,同时调节它们对预测的贡献。受控的 UR-FUNNY 扰动揭示了跨交互阶次的标签对齐信噪比显著下降。所诱导的滤波器相对于共同训练的三模态预测器将最终比率提高了 1.62-2.79 倍,同时在扰动下保持其自身的干净类别对齐信号。五种子实验在 UR-FUNNY 上达到 70.6% 的准确率和加权 F1,在这些检测指标上超过了十三种复现方法。CMU-MOSI 和 CMU-MOSEI 评估确立了其对情感预测的适用性,跨种子分析显示在所有三个数据集上估计更稳定。MoIF 通过可执行的谱约束将多模态交互的组织与其统计可靠性联系起来。代码可在 此 https URL 获取。
| 评论: | 21 页,5 幅图,6 张表 |
| 主题: | 多媒体(cs.MM);人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2611.12913 [cs.MM] |
| (或 arXiv:2611.12913v1 [cs.MM] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.12913 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:Jiahao Qin [查看电子邮件]
[v1]
2026 年 10 月 25 日星期日 19:55:54 UTC(952 KB)
来源:arXiv cs.CL · arxiv.org