arXiv cs.AI· Oliver Lack, Lana Tikhomirov, Humphrey Thompson, Carolyn Semmler, Melissa McCradden·· 10 小时前AI 评分32
研究：Chain-of-Thought 推理为何会助长用户对 AI 的拟人化与认知顺从
When Reasoning looks like Hidden Understanding: How Chain-of-Thought Fosters Anthropomorphism, Perceptions of Epistemic Superiority, and Cognitive Deference
AI 导读
一篇投稿 FAccT 的论文指出，生成模型只是复现语言模式而非理解语义，把 Chain-of-Thought（CoT）推理当作透明的“解释”是一种误判。研究认为，拟人化会使用户将狭窄任务表现泛化为更广泛能力，并因感知到的认知权威而把决策权让渡给 AI。作者以医学为例，建议主动劝阻要求模型给出面向用户的推理理由，并在 AI 素养培训中明确警示这一做法。
正文 · AI 翻译
摘要：随着基于 AI 的产品渗透社会，尤其是使用生成模型的系统，一种关于这些产品是什么、能做什么和不能做什么的信念体系正在形成。一种常见的信念涉及将语言的形式视为“理解”语言的证据。由于这些生成模型再现的是语言模式而非理解含义，将这些模式解读为理解的证据是一种错误归因。这种误解因生成模型能够“解释其推理”的观念而进一步扩大。据轶事观察，这些将语言形式误认为其含义的误解正驱使人们将认知决策让渡给 AI 系统，从而取代了人的能动性。此类错误涉及将认知属性归因于系统，使其被当作有意图的“心智”来对待。重要的是，被感知到的认知权威与优越性使这个“心智”值得顺从。我们认为，拟人化与认知权威和优越性相结合，增加了用户从狭窄任务表现泛化到更广泛能力的风险，从而犯下“合成谬误”。本文探讨了将思维链（CoT）推理误解为充分的透明“解释”的问题。我们探讨了拟人化如何作为认知让渡决策以及感知 AI 系统认知优越性的载体。最后，我们以医学为例探讨了 CoT 的后果。综上所述，我们得出结论：通过 CoT 实现的可解释性存在严重问题，并削弱了它本应服务的伦理原则。虽然 CoT 对于提高输出准确性和内容审核可能有价值，但我们建议应积极劝阻要求模型为用户提供其输出理由的做法，并且 AI 素养培训应明确警告不要使用它。
| 评论： | 提交至 FAccT 会议，2026 年 11 月 4 日。无图表 |
| 主题： | 人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2611.13456 [cs.AI] |
| （或 arXiv:2611.13456v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.13456 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Oliver Lack [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 02:00:52 UTC（100 KB）
来源：arXiv cs.AI · arxiv.org