跳到正文
arXiv cs.AI· Adi Krishnamoorthy, X. Y. Han·· 4 小时前AI 评分58

研究:推理投入提升 LLM 购物智能体的置信度而非正确率

Thinking Harder Doesn't Lead to Better Choices: Reasoning Effort Increases the Confidence but Not the Correctness of LLM Shopping Agents

AI 导读

研究在 WebShop、Amazon SQID 和 Wayfair WANDS 三个商品选择基准上测试十个前沿模型,发现提高推理投入并未在统计意义上提升决策质量,却显著提高了模型自报的置信度。研究还测量了各投入档位下的校准情况,发现多数模型校准不佳,且错误高度共享:一个模型在某任务出错时,其他多个模型往往同样出错,其中不少还选中同一个错误商品。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)正越来越多地被部署为自主购物代理,它们处理多模态商品列表(由视觉和文本数据组成),并代表消费者推荐购买。人们自然会认为,思考能力更强的模型会做出更高质量的购买决策。为了检验这一看法,我们针对这类代理提出两个问题:要求模型更努力地思考是否会让它选择更好的产品,以及它报告的置信度是否能告诉我们它可能出错的可能性?我们在基于 WebShop、亚马逊的 SQID 和 Wayfair 的 WANDS 平台构建的三个产品选择基准上,对十个前沿模型进行了基准测试,以检验思考能力更强的 LLM 是否真的能做出更高质量的产品购买决策。在这三个基准上,我们发现增加思考投入并不会以统计上显著的方式提高决策质量。同样的思考投入变化却以统计上显著的水平提高了所报告的置信度,因此额外的思考换来的是信心,而非正确性。我们还测量了这些模型在这些任务中的校准度(即其报告的置信度百分比与其真实正确率百分比的吻合程度),并表明大多数模型在每个投入水平上都没有得到良好校准。我们还发现错误具有强烈的共性:当一个模型在某项任务上出错时,其他几个模型往往也会在同一任务上出错。此外,在多个模型都出错的任务上,其中很大一部分会选择同一个错误产品。
主题: 人工智能(cs.AI);计算与语言(cs.CL);计算机与社会(cs.CY);人机交互(cs.HC);一般经济学(econ.GN)
引用为: arXiv:2611.22033 [cs.AI]
  (或 arXiv:2611.22033v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22033

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Aditya Krishnamoorthy [查看电子邮件]
[v1] 2026年11月17日星期二 00:55:58 UTC(2,502 KB)

来源:arXiv cs.AI · arxiv.org