跳到正文
arXiv cs.CL· JunYeong Park, Shijing Wang, Seonwook Park, Michael Stengel, Shalini De Mello, Sang-Il Choi, Hyung Jin Chang·· 23 小时前AI 评分20

Nunchi:用对话线索辅助视觉,提升多人对话中的注视目标识别

Nunchi: Ears Help Eyes in Multi-Party Conversations

AI 导读

研究团队提出 Nunchi 框架,通过将转录文本与注视、说话人模型输出构造成文本提示,让视觉语言模型权衡注视几何与对话线索来识别被注视者,在 SORBET 基准上比最强现有方法高 4.8 个百分点。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:识别一个人在看谁,是理解多方对话的核心,然而随着人数增多,仅凭视线几何信息会变得模糊。对话提供了几何信息所缺乏的线索,例如谁在说话、说了什么,但目前没有视线数据集能为众多多方场景提供这些线索。我们推出 SORBET,这是一个包含来自 1,578 个片段的 3,340 个样本的基准,带有同步语音、转录文本和被注视者标签,覆盖的多方场景比现有视线数据集更多。此前的视线模型难以利用这些线索,因为这些线索形式各异、必须与正确的人关联,且可能与视线几何信息冲突。我们提出 Nunchi,一个框架,它根据转录文本以及视线模型和说话人模型的输出构建文本提示,将每条线索与具有共享标签的候选者关联,并让视觉语言模型(VLM)权衡视线几何信息与对话线索,以识别被注视者。Nunchi 比最强的现有方法高出 4.8 个百分点。在 SORBET 上,对话线索有帮助,而额外的视觉线索没有帮助,且这些增益在三个 VLM、自动转录文本以及两个现有数据集上均成立。
评论: 10 页,5 幅图
主题: 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL)
引用为: arXiv:2611.23115 [cs.CV]
  (或 arXiv:2611.23115v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23115

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jun-Yeong Park [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 17:35:07 UTC(5,790 KB)

来源:arXiv cs.CL · arxiv.org