arXiv cs.CL· Guanjie Cheng, Jianfeng Gao, Yufei Tong, Xinkui Zhao, Shuiguang Deng·· 10 小时前AI 评分31
DuSE-Bench：评估对话与文档双源演化下的联合推理基准
DuSE-Bench: Benchmarking Joint Reasoning over Evolving Dialogue and Documents
AI 导读
DuSE-Bench 是一个包含 1,000 个任务、覆盖五种场景的基准，其中 700 个任务所需前提同时来自对话与文档，用于评估双源演化下的联合推理。在 11 种基线配置上，联合接地任务的内容准确率最高仅 56.7%，且内容准确率提升可能伴随响应类型选择变差，内容正确的回答也常缺乏对原始证据的完整归因。
正文 · AI 翻译
摘要：持久性 Web 信息助手必须将不断演变的文档事实与跨会话建立和修订的用户需求结合起来。然而，对于这两个来源的变化如何影响响应要求和证据归因的系统性评估仍然有限。为填补这一空白，我们引入了双源演化基准（DuSE-Bench），该基准包含跨五个场景的 1,000 个任务，其中 700 个任务所需的前提同时源自对话和文档。一个演化的支持图指导任务构建，并保留从更新事实和复用结论到原始轮次和段落的链接。任务标注区分了依据来源与状态依赖，并支持对响应内容、响应类型和来源归因进行分别评估。在 11 种基线配置上的实验揭示了在对演化对话和文档进行联合推理方面持续存在的挑战，联合依据任务上的内容准确率最高仅达到 56.7%。此外，内容准确率的提升可能与更差的响应选择同时出现，而内容正确的响应往往缺乏对原始证据的完整归因。匹配证据替换进一步表明，替换一个来源的证据的效果取决于另一个来源的支持。这些发现促使我们协调对话记忆和文档检索，以同时应用当前用户需求和文档事实，同时保留其原始支持。数据可在 此 https URL 获取。
| 评论： | 12 页，4 张图 |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2611.00755 [cs.CL] |
| （或 arXiv:2611.00755v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00755 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yufei Tong [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 09:04:59 UTC（1,028 KB）
来源：arXiv cs.CL · arxiv.org