arXiv cs.CL· Ngoc-Duy Mai, Ha-Thanh Nguyen, Hideaki Takeda·· 12 小时前AI 评分18
超越视觉语言模型：用视觉-语义情感图做艺术品情感识别
Beyond Vision-Language Models: Visual-Semantic Affect Graphs for Emotion Recognition in Artworks
AI 导读
研究提出视觉-语义情感图（VSAG）框架，将艺术品拆解为颜色、笔触、构图、光影、线条质量与提取的视觉实体等可解释特征节点，学习特征-情感关联以预测主导情感。在 EmoArt-5k 上对比 Qwen3-VL 与 InternVL3.5 的直接推理，图模型提升主导情感预测，其中带层级效价-唤醒辅助模块的 VSAG 变体在 accuracy、macro-F1 和 weighted-F1 上均最优。
正文 · AI 翻译
摘要：艺术作品中的情感识别仍然具有挑战性，因为情感意义往往是主观的、隐含的，并受到视觉形式与语义联想之间关系的塑造。尽管视觉语言模型提供了强大的多模态表示，但直接的图像到情感预测可能会忽略支持情感解读的形式、语义和情感线索之间的显式关系。本文提出视觉-语义情感图（VSAG），这是一个基于图的框架，通过可解释的特征节点来表示艺术作品，包括颜色、笔触、构图、光影、线条质量和提取的视觉实体。该图学习特征-情感关联以进行主导情感预测，并通过可选的层次化辅助情感模块对效价-唤醒结构进行建模。我们在 EmoArt-5k 上使用 Qwen3-VL 和 InternVL3.5，将 VSAG 和 VSAG-TopK 与直接 VLM 推理进行评估对比。结果表明，直接 VLM 提供了有用但有限的基线，而基于图的模型改进了主导情感预测。特别是，VSAG 的层次化效价-唤醒变体取得了最佳整体性能，在准确率、宏 F1 和加权 F1 上均优于直接 VLM 推理和仅情感 VSAG 基线。按类别结果显示，基于图的模型和 VLM 捕获了部分互补的信号，而效价-唤醒结构在作为从粗到细的情感层次集成时最为有用，而非作为简单的后验校正。这些发现表明，显式的视觉-语义结构可以同时支持艺术作品情感识别中的预测和解释。
| 评论： | 15 页，2 幅图，IJCKG 会议 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.6；I.2.4；I.4.8 |
| 引用为： | arXiv:2610.35244 [cs.CV] |
| （或 arXiv:2610.35244v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35244 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ngoc-Duy Mai [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 11:25:37 UTC（15,219 KB）
来源：arXiv cs.CL · arxiv.org