arXiv cs.CL· Junhao Chen, Yu Huang, Siyuan Li, Rui Yao, Hanqian Li, Hanyu Zhang, Jungang Li, Jian Chen, Bowen Wang, Xuming Hu·· 14 小时前AI 评分34
KnowMT-Bench：面向多轮对话知识密集型长文本问答的基准测试
KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues
AI 导读
研究者提出 KnowMT-Bench，用于系统评估 LLM 在医学、金融、法律等知识密集型领域的多轮长文本问答能力，填补现有基准仅限单轮对话的空白。该基准采用动态评估设置，让模型根据逻辑递进的问题序列自行生成多轮对话历史。实验显示 LLM 在多轮对话中事实能力与信息传递效率均明显下降，RAG 可逆转这一性能退化，主动上下文去噪也有较稳定缓解效果。
正文 · AI 翻译
摘要：多轮长文本问答（MT-LFQA）是大语言模型（LLM）在知识密集型领域中的一项关键应用范式。然而，现有基准仅限于单轮对话，而多轮对话基准通常评估的是其他正交能力，而非知识密集型事实性。为填补这一关键空白，我们提出 \textbf{KnowMT-Bench}，这是一个新基准，旨在系统评估 LLM 在医学、金融和法律等知识密集型领域的 MT-LFQA。为忠实评估模型在真实世界中的表现，KnowMT-Bench 采用动态评估设置，模型根据逻辑递进的问题序列生成自己的多轮对话历史。我们在多种 LLM 上的实验表明，多轮对话中模型的事实能力和信息传递效率均出现明显下降。我们进一步探究了潜在原因，并研究了领域特定微调、主动上下文去噪和 RAG 等缓解策略。结果表明，微调带来的收益因领域而异，而主动上下文去噪和 RAG 能更一致地缓解这些问题，其中 RAG 显著逆转了这种性能下降。这些发现凸显了我们的基准在评估 LLM 在真实应用中对话事实能力方面的重要性。代码和数据已公开。\footnote{\href{this https URL}{\texttt{this https URL}}}
| 评论： | 被 EMNLP 2026 Findings 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2509.21856 [cs.CL] |
| （或 arXiv:2509.21856v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.21856 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yu Huang [查看电子邮件]
[v1]
2025年9月26日星期五 04:32:29 UTC（1,610 KB）
[v2]
2026年10月26日星期一 07:41:31 UTC（1,646 KB）
来源：arXiv cs.CL · arxiv.org