arXiv cs.CL· Lucas Resck, Jingyi Sun, Qianli Wang, Isabelle Augenstein, Anna Korhonen·· 11 小时前AI 评分39
研究提出“依赖假说”：语言资源越少，CoT 忠实度越高
The Reliance Hypothesis: Chain-of-Thought Faithfulness Rises as Language Resource Level Falls
AI 导读
一项 arXiv 研究在八种语言的 MMMLU 平行选择题上发现，知识密集型任务中语言资源水平越低，CoT 忠实度越高，推理密集型任务则不然，该差距在四个模型和多种忠实度度量下方向一致。作者据此提出“依赖假说”：模型无法回忆答案时更依赖推理，模型置信度可部分解释资源水平效应，但无法解释知识与推理任务的差距。低资源语言中模型是对更多答案依赖推理，而非对每个答案依赖更强。
正文 · AI 翻译
摘要：思维链（CoT）忠实性对于监控、解释和安全部署大型语言模型至关重要，但相关研究大多集中在英语上。不同语言在资源水平上存在差异，可用于学习的文本量也不同，因此模型在低资源语言中掌握的知识较少，这可能改变它们对自身推理的依赖程度。据我们所知，我们是首个将 CoT 忠实性与资源水平和任务类型（知识密集型或推理密集型）同时关联起来的研究。在来自多语言大规模多任务语言理解（MMMLU）的八种语言平行多项选择题上，在知识密集型任务中，忠实性随资源水平下降而上升，但在推理密集型任务中并非如此；这一差距在四个模型和若干忠实性度量上指向一致。我们提出并找到了对“依赖假说”的支持：当模型无法回忆起答案时，它们更依赖自己的推理，正如在知识密集型任务中的低资源语言里那样。模型置信度部分解释了资源水平的影响，但无法解释知识与推理之间的差距。模型置信度较低的语言更依赖推理，但同一语言内置信度较低的答案却并非如此，这是一种辛普森悖论。在低资源语言中，模型对更多答案依赖其推理，而不是对每个答案依赖得更强。因此，CoT 监控可能在低资源语言中信息量最大，而这类语言恰恰最少被验证。
| 评论： | 21 页，10 张图，16 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.22841 [cs.CL] |
| （或 arXiv:2610.22841v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22841 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jingyi Sun [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 02:33:51 UTC（373 KB）
来源：arXiv cs.CL · arxiv.org