arXiv cs.AI· Yuhan Tang, Ke Fan, Xinkai Zou, Baichuan Mo, Kangxin Cui, Ao Qu, Ou Zheng, Jiangbo Yu, Haris N. Koutsopoulos, Jinhua Zhao, Yuan Zhou·· 10 小时前AI 评分42
Ask2Decide 基准：评估 LLM 智能体能否通过提问获取决策相关信息
From Questions to Decisions: Benchmarking How LLM Agents Acquire Decision-Relevant Information from Human Beings
AI 导读
研究者推出 Ask2Decide 基准，含 43 个规划任务，用优化求解器判定哪些缺失事实会改变最优方案，并加入不改变方案的相似表述事实作干扰项。基于 19 名参与者的 79 次交互，校准出更贴近人类回复模式的模拟操作员。四个前沿 LLM 在信息缺失时初始方案不可行率达 58-98%，且找出关键事实的比例（39-52%）仅略高于无关事实（32-41%）。
正文 · AI 翻译
作者：Yuhan Tang、Ke Fan、Xinkai Zou、Baichuan Mo、Kangxin Cui、Ao Qu、Ou Zheng、Jiangbo Yu、Haris N. Koutsopoulos、Jinhua Zhao、Yuan Zhou
摘要：LLM 智能体越来越多地被要求为人们制定计划，例如安排司机排班或分配护士。然而，人们的请求往往不完整，用于决策的支撑信息可能已经过时，这就要求智能体主动请求澄清。现有基准通常提供完全明确的问题，或依赖未经校准的 LLM 模拟用户，导致这一能力未得到充分测试。我们提出 Ask2Decide，这是一个包含 43 项规划任务的基准，用于评估智能体是否会询问对其决策至关重要的缺失信息。一名操作员掌握智能体请求和记录中缺失的事实，并由优化求解器判定哪些事实会改变最优计划。我们还加入了措辞相似但不会改变最优计划的事实，以测试智能体能否区分有用信息与无关细节。我们收集了来自 19 名参与者的 79 次交互会话，发现：在给出错误计划后，人类回复遗漏纠正性事实的频率远高于未经校准的模拟用户回复（43% 对 7%）。利用这些交互，我们校准了一个模拟操作员，使其更贴近人类的回复模式。在评估四个前沿 LLM 时，我们发现，在信息缺失的情况下，它们的初始计划在 58-98% 的任务上不可行，而在所有事实都预先提供时，这一比例为 5-28%。智能体发现会改变最优计划的事实的频率仅略高于发现不会改变最优计划的事实的频率（39-52% 对 32-41%）。这些结果表明，通过交互获取与决策相关的信息仍然是 LLM 规划的主要瓶颈。这是一项正在进行的工作，将会更新。本版本的日期显示在第一页。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.13015 [cs.AI] |
| （或 arXiv:2611.13015v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13015 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuhan Tang [查看电子邮件]
[v1]
2026年11月9日星期一 04:22:15 UTC（66 KB）
来源：arXiv cs.AI · arxiv.org