arXiv cs.CL· Hang Ren, Peidong Wang, Yichen Gao, Wen Zhang, Jiayang Yu, Xiaocui Yang, Shi Feng·· 3 天前AI 评分20
FACES:面向多模态情感支持对话的细粒度门控语义对齐框架
FACES: Fine-grained Gated Semantic Alignment for Multimodal Emotional Support Conversation
AI 导读
FACES 是一个面向多模态情感支持对话(MESC)的细粒度门控语义对齐框架,通过整合多源奖励构建多维语义与功能对齐信号,并采用非补偿性门控融合机制减少跨维度奖励抵消,同时利用结构化 CoT 锚点进行 token 级信用分配。
正文 · AI 翻译
摘要:近年来,随着多模态交互技术的进步以及对智能情感支持需求的日益增长,多模态情感支持对话(MESC)已成为一项重要任务。然而,由于语义反馈薄弱、跨维度奖励补偿以及粗粒度推理监督,现有系统仍存在回复浅显和支持策略不当的问题。为应对这些挑战,我们提出了 FACES,一个面向 MESC 的细粒度门控语义对齐框架。具体而言,FACES 整合多源奖励以构建多维语义与功能对齐信号,采用非补偿性门控融合机制以减少跨维度奖励偏移,并利用结构化思维链(CoT)锚点进行 token 级信用分配。在受控回复长度协议下,FACES 将基于 MLLM 的平均评估分数从 3.61 提升至 4.04,并在与 SOTA 的成对比较中取得 80.22% 的胜率。同一协议下的人工评估得到 75.3% 的偏好率。在三个外部数据集上的结果进一步支持了其可迁移性。代码和数据集可在 此 https URL 获取。
| Comments: | 27 页,包括参考文献和附录 |
| Subjects: | 计算与语言(cs.CL) |
| Cite as: | arXiv:2610.20051 [cs.CL] |
| (或 arXiv:2610.20051v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.20051 由 DataCite 颁发的 arXiv DOI(待注册) |
Submission history
来自:Hang Ren [查看邮箱]
[v1]
2026年10月14日星期三 11:54:06 UTC(12,664 KB)
来源:arXiv cs.CL · arxiv.org