arXiv cs.AI· Seunghan Lee, Jun Seo, Junhyeok Kang, Jaehoon Lee, Sangjun Han, Sungdong Yoo, Minjae Kim, Tae Yoon Lim, Dongwan Kang, Hwanil Choi, Soonyoung Lee, Wonbin Ahn·· 11 小时前AI 评分31
DIVA：让 LLM 按决策价值决定是否继续查证
Not All Information Is Worth Asking For: Decision-Informed Information Seeking with LLMs
AI 导读
研究者提出免训练的 DIVA 方法，让 LLM 通过简短数值问题构建小型决策模型，并按每项检查对决策的净收益估值，在无检查值得其成本时停止。其变体 DIVA-U 进一步考虑 LLM 对检查影响概率的估计不确定性。
正文 · AI 翻译
作者：Seunghan Lee、Jun Seo、Junhyeok Kang、Jaehoon Lee、Sangjun Han、Sungdong Yoo、Minjae Kim、Tae Yoon Lim、Dongwan Kang、Hwanil Choi、Soonyoung Lee、Wonbin Ahn
摘要：大语言模型（LLM）越来越多地被用于在信息不完整的情况下支持决策，此时决定该查什么、何时停止与最终答案同样重要。然而，LLM 会陷入信息陷阱：它们为无法改变其决策或成本不值得的检查（即代价高昂的证据）付出代价，并且在证据已经充分时仍不断询问。为此，我们提出了决策知情的信息价值获取（Decision-Informed Value-of-information Acquisition，DIVA），这是一种基于证据决策价值的简单而有效的 LLM 信息检索流程。DIVA 1）通过简短的数值问题，让 LLM 指定一个小型决策模型，即不良结果发生的可能性以及每项检查将如何改变这一概率；2）根据每个候选检查的想象结果在扣除其成本后对决策的改善程度来评估该检查，当没有检查值得其成本时停止。其变体 DIVA-U 进一步考虑了 LLM 对每项检查在多大程度上改变该概率的不确定估计。DIVA 无需训练，适用于任何 LLM。在四个领域和 20 个 LLM 上，DIVA-U 在真实世界数据上的遗憾（即相对于最佳可能决策所损失的价值）低于所有 LLM 基线，主要通过一旦证据充分就停止来实现；而在每项检查可靠性均已知的合成场景中，DIVA 将最佳 LLM 基线的遗憾降低了 75%。代码：此 http URL。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32181 [cs.AI] |
| （或 arXiv:2610.32181v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32181 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Seunghan Lee [查看电子邮件]
[v1]
2026年10月23日星期五 05:27:44 UTC（413 KB）
来源：arXiv cs.AI · arxiv.org