arXiv cs.AI· Zhizhuo Kou, Jian Yang, Pengfei Hao, Junyu Luo, Jingshu Peng, Sirui Han, Yike Guo·· 2 天前AI 评分40
思考如何让推理模型按字面理解"some"和"or":Entertain, then Cancel
Entertain, then Cancel: How Thinking Makes Reasoning Models Read Some and Or Literally
AI 导读
研究发现,增加思考量会让推理模型把"some"(非全部)和"or"(非两者)的会话含义取消,转而按字面逻辑理解,这一现象在多数被测开源推理模型和 GPT-5 中均成立,而间接回答等依赖上下文的推理反而改善。推理轨迹显示模型先接受丰富含义、随后将其取消;一种在推理早期阶段作答的探索性方法可在不损失字面准确率的前提下恢复这些含义。
正文 · AI 翻译
摘要:当说话者说“一些学生通过了”时,听者会推断并非所有人都通过了。推理模型现在让用户决定模型在回答前思考多久,但我们不知道额外的思考会对这类日常推断产生什么影响。我们直接研究这一点:保持模型权重不变,只改变它思考的时长,并记录它选择哪种解读。第二个工具在连续的时间点上截断模型自身的推理并要求给出答案,从而显示解读在何处发生变化。思考让模型把逻辑词当作逻辑来解读:在大多数受测的开放推理模型以及 GPT-5 中,它会取消 \emph{some}(\emph{not all})和 \emph{or}(\emph{not both})的隐涵,而诸如间接回答这类由语境驱动的推断则有所改善。推理轨迹显示了原因:模型首先考虑丰富化解读,随后将其取消。从这一早期解读出发作答——一种探索性的推理时补救方法——可以在不损失字面准确率的情况下恢复这些隐涵。对推理模型的评估应衡量它们如何解读,而不仅仅是它们有多准确。
| 学科: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.21204 [cs.AI] |
| (或 arXiv:2610.21204v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.21204 arXiv 颁发的 DOI,通过 DataCite(待注册) |
提交历史
来自:Jian Yang [查看电子邮件]
[v1]
2026年10月15日星期四 04:01:59 UTC(1,716 KB)
来源:arXiv cs.AI · arxiv.org