跳到正文
arXiv cs.CL· Hang Ren, Peidong Wang, Yichen Gao, Wen Zhang, Jiayang Yu, Xiaocui Yang, Shi Feng·· 3 天前AI 评分20

FACES:面向多模态情感支持对话的细粒度门控语义对齐框架

FACES: Fine-grained Gated Semantic Alignment for Multimodal Emotional Support Conversation

AI 导读

FACES 是一个面向多模态情感支持对话(MESC)的细粒度门控语义对齐框架,通过整合多源奖励构建多维语义与功能对齐信号,并采用非补偿性门控融合机制减少跨维度奖励抵消,同时利用结构化 CoT 锚点进行 token 级信用分配。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:近年来,随着多模态交互技术的进步以及对智能情感支持需求的日益增长,多模态情感支持对话(MESC)已成为一项重要任务。然而,由于语义反馈薄弱、跨维度奖励补偿以及粗粒度推理监督,现有系统仍存在回复浅显和支持策略不当的问题。为应对这些挑战,我们提出了 FACES,一个面向 MESC 的细粒度门控语义对齐框架。具体而言,FACES 整合多源奖励以构建多维语义与功能对齐信号,采用非补偿性门控融合机制以减少跨维度奖励偏移,并利用结构化思维链(CoT)锚点进行 token 级信用分配。在受控回复长度协议下,FACES 将基于 MLLM 的平均评估分数从 3.61 提升至 4.04,并在与 SOTA 的成对比较中取得 80.22% 的胜率。同一协议下的人工评估得到 75.3% 的偏好率。在三个外部数据集上的结果进一步支持了其可迁移性。代码和数据集可在 此 https URL 获取。
Comments: 27 页,包括参考文献和附录
Subjects: 计算与语言(cs.CL)
Cite as: arXiv:2610.20051 [cs.CL]
  (或 arXiv:2610.20051v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.20051

由 DataCite 颁发的 arXiv DOI(待注册)

Submission history

来自:Hang Ren [查看邮箱]
[v1] 2026年10月14日星期三 11:54:06 UTC(12,664 KB)

来源:arXiv cs.CL · arxiv.org