arXiv cs.CL· Ian Porada, Suraj Tripathi, Chaitanya Animesh, Leda Sari, Chaitanya Narisetty, Austin R. Matthews, Bohan Yu, Ramesh L. Thulasiram, Gregory Sell, Kean Chin, Dmitriy Genzel·· 12 小时前AI 评分38
OSynth：面向会议理解的长程上下文敏感评测数据集
OSynth: A Longitudinal, Context-Sensitive Evaluation of Meeting Understanding
AI 导读
研究团队发布 OSynth，一个包含 570 小时会议音频及关联材料与潜在真值状态的大规模合成组织数据集，用于评测会议理解。人类评分者仅以 56% 准确率区分 OSynth 会议与真实会议转录片段（150-300 词）。在多个 SOTA LLM 上，额外上下文在若干实体敏感维度带来显著提升，显示现有方法的局限。
正文 · AI 翻译
作者：Ian Porada、Suraj Tripathi、Chaitanya Animesh、Leda Sari、Chaitanya Narisetty、Austin R. Matthews、Bohan Yu、Ramesh L. Thulasiram、Gregory Sell、Kean Chin、Dmitriy Genzel
摘要：会议记录助手正越来越多地部署在可获得纵向上下文的场景中，包括日历元数据、既往会议、电子邮件、幻灯片和说话人注册信息；然而，会议语料库在规模、领域覆盖范围和可用上下文方面仍然有限。我们提出 OSynth，这是一个大规模合成数据集，由模拟组织构成，包含 570 小时的会议音频以及相关工件和潜在的基准真值状态。在成对比较中，人类评分者仅凭 150-300 词的摘录，以 56% 的准确率区分 OSynth 会议与真实会议转录文本。在多个最先进的 LLM 上，额外上下文在若干实体敏感维度上带来显著提升，这既展示了当代方法的局限性，也表明 OSynth 在开发上下文更充分的会议理解系统方面的潜在价值。
| 评论： | EMNLP 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29319 [cs.CL] |
| （或 arXiv:2610.29319v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29319 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ian Porada [查看电子邮件]
[v1]
2026年10月21日星期三 07:21:54 UTC（723 KB）
来源：arXiv cs.CL · arxiv.org