arXiv cs.CL· Haotian Qi, Gabriel Skantze·· 10 小时前AI 评分29
AVCC：用于轮次转换预测的音视频对话语料库与人类基准
AVCC: Audio-Visual Conversation Corpus for Turn-Taking Prediction with a Human Benchmark
AI 导读
AVCC 被构建为公开的多方下一说话人预测（NSP）基准，语料为 31 小时双人及三人线上对话，仅用单个固定摄像头和麦克风录制。新增说话人不重叠的 7 段视频测试集，在互静音间隙包含 865 个 hold 与 865 个 shift 事件，并提供全语料词级强制对齐转写及同事件上采集的人类参考基准。
正文 · AI 翻译
摘要：} 预测下一位发言者是谁以及何时发言，是对话智能体和社交机器人无需等待静默即可轮流发言的前提。多人对话中的下一位发言者预测（NSP）已在具有每位发言者传感器的语料库上进行了研究，每个语料库都有各自的事件定义。目前没有公开基准涵盖机器人所拥有的单个摄像头和麦克风，也没有任何模型与人类在同一预测任务上的表现进行过比较。我们将 AVCC——一个用单个静态摄像头和麦克风录制的、时长 31 小时的双人和三人线上对话音视频语料库——转化为公开的 NSP 基准。我们添加了一个说话人互斥的七视频测试分区，在相互静默间隙处包含 865 个 hold 事件和 865 个 shift 事件；为整个语料库添加了词级强制对齐转录文本；并在相同事件上收集了人类参考基准。我们评估了仅音频的 Role-Relative VAP 模型（RoleVAP）和多模态 MuVAP 模型。标签、转录文本、逐响应人类数据以及可复现每个数字的脚本均已发布。
| 主题： | 计算与语言（cs.CL）；人机交互（cs.HC）；声音（cs.SD） |
| 引用为： | arXiv:2611.13957 [cs.CL] |
| （或本版本的 arXiv:2611.13957v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2611.13957 由 DataCite 签发的 arXiv DOI（待注册） |
提交历史
来自：Haotian Qi [查看邮箱]
[v1]
2026年11月10日 星期二 11:43:42 UTC（1,050 KB）
来源：arXiv cs.CL · arxiv.org