arXiv cs.AI· Shaoang Li, Yanhang Shi, Jian Li·· 2 天前AI 评分32
推理轨迹与证据冲突时：答案配置如何影响模型对证据的遵循
When Reasoning Traces Conflict with Evidence: How Answer Configuration Shapes Evidence Following
AI 导读
研究在 HotpotQA 和 MuSiQue 上对比 gpt-oss、Gemma4、Qwen3 三个模型族，发现将答案生成改为独立调用而非延续模型自身思考，可使模型遵循当前证据的比例提升 29.9 至 60.6 个百分点。
正文 · AI 翻译
摘要：在回答时保留的推理轨迹具有两个作用：它可以提高准确率，而当其与当前证据不一致时，它也可能与当前证据相竞争。我们通过将经过验证的证据版本与由每个版本生成的轨迹进行交叉，并在两种配置下从相同的轨迹和证据中作答来区分这些作用：延续模型自身的思考，以及单独的答案调用。在 HotpotQA 和 MuSiQue 上的三个模型系列（gpt-oss、Gemma4、Qwen3）中，单独的答案调用相比延续将证据遵循度提高了 29.9 至 60.6 个百分点。在相同的配对上，移除轨迹在两种配置下都会使准确率下降相似的幅度。然而，延续在大多数冲突中重复了过时的结论，而单独的答案调用则更频繁地遵循当前证据。因此，从轨迹中获益与遵从轨迹是不同的属性。进一步的分析表明，轨迹的最后一行承载了其大部分价值，黄金证据在轨迹被写出之前帮助最大，干扰项会削弱单独答案调用下的纠正，而重新推理与验证指令不同，在大多数冲突中会遵循当前证据。由于仅删除轨迹无法揭示答案遵循的是哪个来源，评估应同时报告这两个属性以及答案配置。
| 评论： | 25 页，4 张图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20805 [cs.AI] |
| （或 arXiv:2610.20805v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20805 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yanhang Shi [查看电子邮件]
[v1]
2026年10月14日星期三 18:52:23 UTC（232 KB）
来源：arXiv cs.AI · arxiv.org