arXiv cs.CL· Rongyu Zhang, Mutian Bao, Jinjian Zhang, Yuetian Du, He Xu, Wei Zhou, Xiaojun Zhu, Ming Kong, Jie Liu, Linjian Mo, Qiang Zhu·· 10 小时前AI 评分38
VagueBench 与 DialogGRPO：评测并训练开放域 LLM 对话中的主动追问能力
Don't Guess, Ask Wisely: Benchmarking and Training Proactive Elicitation in Open-Domain LLM Conversations
AI 导读
研究团队提出 VagueBench 基准与 DialogGRPO 离线强化学习方法，用于评测和训练 LLM 在用户查询不完整时的主动追问能力。
正文 · AI 翻译
作者：Rongyu Zhang、Mutian Bao、Jinjian Zhang、Yuetian Du、He Xu、Wei Zhou、Xiaojun Zhu、Ming Kong、Jie Liu、Linjian Mo、Qiang Zhu
摘要：当用户查询不完整时，大语言模型应在给出答案前提出有针对性的问题，我们将这一能力称为主动 elicitation（proactive elicitation）；然而，对七个 LLM（8B 到前沿模型）在真实用户-助手查询上的评估显示，在表述不充分的查询中，触发追问的比例不足 11%。为了对这一能力进行基准测试和训练，我们提出了 VagueBench：其中每个种子查询都标注了结构化意图和细节单元，随后通过受控地移除语言线索，将其退化为意图模糊和完全模糊两种变体，从而得到已知的隐藏信息集合，用于评估何时提问以及提问什么。我们提出了 DialogGRPO，一种离线强化学习方法，它将多轮 elicitation 组织为对话状态有向无环图，图中每个节点上的候选问题通过组相对比较获得密集的轮级奖励，该奖励结合了即时信息增益与前瞻价值，从而无需运行时模拟即可实现细粒度信用分配。DialogGRPO 在超过 88% 的模糊查询上引出了缺失信息，在恢复效率和答案覆盖率上均有显著提升，且不会对完整查询过度提问，优于提示和测试时扩展基线，并能零样本泛化到 MultiWOZ 2.4 和 AmbigQA。
| 评论： | 26 页，6 张图；EMNLP 2026 oral |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01878 [cs.CL] |
| （或 arXiv:2611.01878v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01878 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rongyu Zhang [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 13:15:14 UTC（2,124 KB）
来源：arXiv cs.CL · arxiv.org