arXiv cs.CL· Ruichen Zheng, Yihe Wang, Fabrice Harel-Canada, Sara Khosravi, Zeynep Senahan Yildiz, Amit Sahai, Nanyun Peng·· 10 小时前AI 评分34
推理能力能提升大语言模型的心理深度吗？DeepSeek-R1 与 GPT-5 短篇故事评测
Does Reasoning Improve Psychological Depth in Large Language Models?
AI 导读
一项针对短篇故事心理深度的 60 组盲评实验显示，推理增强并未带来普遍优势：GPT-5 在两个推理强度设置下以 60.0-62.9% 的偏好率略胜 GPT-4o，而 DeepSeek-R1 反而以 42.9% 落后于 DeepSeek-V3。
正文 · AI 翻译
摘要：推理增强型大语言模型的基准提升，让人们倾向于假设这类模型在复杂生成任务上应普遍表现更好，但这一假设在受读者体验细微差异影响的开放式创意领域中仍缺乏充分探索。我们以短篇小说的心理深度为切入点检验了这一假设。我们比较了 DeepSeek-R1 与 DeepSeek-V3（这是我们在推理导向后训练方面最接近的可比对照），以及 GPT-5 与 GPT-4o，通过 60 次盲法成对评估，由七名人类标注员和一个 LLM-as-a-Judge 集成对提示匹配的故事输出进行评分。人类评估未显示出普遍的推理优势：GPT-5 略优于 GPT-4o（在两种推理强度设置下分别为 60.0% 和 62.9%），而 DeepSeek-R1 则落后于 DeepSeek-V3（42.9%）。尽管这一模式伴随着较低的标注者间一致性（Krippendorff's $\alpha = 0.070$），我们的标注质量检查表明这属于真实的评价主观性，可能反映的是标注者不同的决策方案，而非标注失败。相比之下，LLM-as-a-Judge 表现出强烈的偏向推理的偏差（98.3% 的成对比较 vs. 人类投票的 55.2%），在其五种配置中保持一致，且部分与句子长度相关。这些发现表明，在前沿水平上，与推理相关的质量差异小到足以被读者主观性所主导，而 LLM-as-a-Judge 评估器可能在细微的创意生成任务中掩盖这种主观性。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09061 [cs.CL] |
| （或 arXiv:2611.09061v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09061 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ruichen Zheng [查看邮箱]
[v1]
2026年11月6日星期五 06:39:24 UTC（5,154 KB）
来源：arXiv cs.CL · arxiv.org