arXiv cs.CL· Yuanchen Shi, Fang Kong·· 10 小时前AI 评分18
S2TDR：面向贴纸对话理解的结构化多模态重建框架
S2TDR: Structured Multimodal Reconstruction for Sticker-Aware Dialogue Understanding
AI 导读
S2TDR 提出一种结构化多模态重建框架，将对话中的贴纸轮次转换为符合上下文的文本话语，使现有纯文本对话模型可直接消费。该框架把贴纸解读拆解为视觉线索提取、情感与意图推断、上下文感知对话重建三步，OCR 文本仅作辅助线索。在情感分析、意图识别和对话摘要任务上，S2TDR 相比直接融合贴纸的方法普遍提升了多个下游模型的表现。
正文 · AI 翻译
摘要：表情贴纸在社交媒体对话中被广泛用于表达超出字面文本的情感、立场和意图。其含义往往是非字面的且依赖语境，因此难以用通用的视觉融合或独立的图像描述方法来处理。我们提出贴纸到文本对话重建（Sticker-to-Text Dialogue Reconstruction，S2TDR），这是一个结构化的多模态重建框架，可将贴纸轮次转换为符合语境合适的文本话语。S2TDR 将贴纸解读分解为视觉线索提取、情感-意图推断和语境感知的对话重建，仅在可用时将 OCR 文本作为辅助线索。重建后的对话随后可被现有的基于文本的对话模型使用。在情感分析、意图识别和对话摘要上的实验表明，与直接集成贴纸的方法相比，S2TDR 总体上提升了多个下游模型的表现。关于组件消融、OCR 为空贴纸和重建质量的进一步分析表明，结构化重建为将贴纸语义整合到对话理解中提供了一种可解释且有效的方式。
| 评论： | 12 页，4 幅图，5 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41176 [cs.CL] |
| （或 arXiv:2610.41176v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41176 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shi Yuanchen [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 02:57:24 UTC（1,677 KB）
来源：arXiv cs.CL · arxiv.org