arXiv cs.CL· Patrick Schrottenbacher, Leon Hammerla, Lydia Kleine, Doris Stingl, Alexander Mehler·· 10 天前AI 评分12
InterView-C：一个VR虚拟形象访谈的同步多模态语料库
InterView-C: A Synchronized Multimodal Corpus of VR Avatar-Mediated Survey Interviews
AI 导读
InterView-C 是一个德语多模态语料库，包含 27 场完全在 VR 中进行、双方均以虚拟形象出镜的问卷调查访谈，将语音交互与注视、头身运动、面部行为、手部与手指追踪等同步行为数据对齐。
正文 · AI 翻译
摘要：我们提出了 InterView-C，一个德语多模态语料库，包含 27 场完全在虚拟现实中进行的调查访谈，双方对话者均以虚拟形象呈现。该语料库将口语互动与同步的行为数据对齐，包括注视、头部和身体运动、面部行为、手部和手指追踪。其参考转写文本和语言学标注为这种多模态口语互动与主要基于文本的 NLP 方法之间提供了可靠的接口。这一接口很重要，因为自动转写语音可能会扭曲语言学上相关的信息，而基于现有资源训练的下游模型在应用于转写后的口语数据时还可能面临迁移挑战。因此，InterView-C 为全部 54 段录音提供了带词级时间戳且经人工后期编辑的逐字转写文本、访谈项目时间、问卷回答，以及针对 1,422 个句子的否定线索和否定辖域标注，其中 1,398 个句子为双重标注（线索的 {\alpha}=0.87；辖域的 {\alpha}=0.81）。我们通过实证展示了这两方面的挑战：九个开放权重 ASR 系统对简短封闭式回答和数字词的误识别率过高，而在现有语料库上训练的否定模型在我们转写的访谈上的表现低于在 InterView-C 标注上训练的模型，且波动很大。因此，InterView-C 既支持对口语互动进行语言学分析，又保持其与丰富多模态行为的对齐。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10145 [cs.CL] |
| （或 arXiv:2610.10145v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.10145 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Leon Hammerla [查看电子邮件]
[v1]
2026年10月7日星期三 14:23:32 UTC（1,757 KB）
来源：arXiv cs.CL · arxiv.org