arXiv cs.CL· Obada Kraishan·· 10 天前AI 评分30
大语言模型推理预算升级下的认知偏差:长路通向同一答案
The Long Road to the Same Answer: Cognitive Bias Under Escalating Reasoning Budgets in Large Language Models
AI 导读
一项针对四个模型家族的剂量-反应研究显示,推理模型并不比同系列非推理版本偏差更小,各家族点估计甚至偏向相反方向,但项目级汇总对比不显著(Δ=+0.031,p=.157)。
正文 · AI 翻译
摘要:推理模型在推理时分配额外的计算,并将其答案呈现为深思熟虑的产物。如果这种深思熟虑的运作方式与人类认知的双过程理论所暗示的一致,那么更长的思考应当削弱快速、直觉判断所产生的经典决策偏差。我们使用来自一个成熟基准的 30 个短文,涵盖六种偏差(锚定、框架效应、损失厌恶、承诺升级、可得性、确认),在四个模型家族中开展了一项剂量-反应研究,将每个推理模型与其匹配的非推理同源模型配对,并请求 0、1,024、4,096 和 8,192 个 token 的思考上限,共进行 12,350 次 API 调用。由于请求的上限与实际实现的深思熟虑并不相同,我们使用每次调用所消耗的推理 token 作为剂量。第一,推理模型并不比其同源模型偏差更少;在每个家族中,点估计都倾向于相反方向,但项目层面的合并对比并不可靠(Delta = +0.031,t(29) = 1.45,p = .157)。第二,偏差幅度并未随着实际实现的深思熟虑增加而可靠下降:没有斜率显著为负,而在任何有变化的地方,都是有符号分数进一步偏离人类方向。第三,锚定是唯一与人类方向一致的偏差(d = 1.89)。其他五种偏差中有四种在所有七个模型中都倾向于相反方向;每种偏差有五个项目,这种反转对框架效应是可靠的,对承诺升级、确认和损失厌恶具有方向性,而可得性则不存在。在回答前用一句话指示重述锚点,降低了全部五个锚定项目上的锚定效应,而任何数量的额外思考都未能做到这一点,尽管该效应未达到显著性(p = .057)。这些结果反对将测试时推理视为理性保证,并主张对已部署模型逐项偏差进行审计。
| 评论: | 已被 2026 IEEE 第八届国际认知机器智能会议(IEEE CogMI 2026)接收。8 页,3 幅图,5 张表。代码和数据:此 https URL |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.10049 [cs.CL] |
| (或 arXiv:2610.10049v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.10049 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Obada Kraishan [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 13:23:51 UTC(74 KB)
来源:arXiv cs.CL · arxiv.org