arXiv cs.CL· Yandan zheng, Haoran Luo, Xinliang Zhou, Anhtuan Luu·· 10 小时前AI 评分34
CogRSI：演化与审计认知推理策略
CogRSI: Evolving and Auditing Cognitive Reasoning Strategies
AI 导读
CogRSI 让语言模型通过自我改进循环自行写出推理原则，在 800 对未见过的 BigToM 测试上，学到的原则得分均高于专家撰写的原则。但将这些规则翻译成代码后在数千个已知答案的小故事上检验，多数规则在至少一种其声称覆盖的情境下给出错误答案，例如把熟睡中的在场角色判定为知道发生了什么。准确率无法揭示哪些规则有错，反事实测试也未能修正，策略在实践中有效与作为规则正确需要分别检验。
正文 · AI 翻译
摘要：语言模型能否通过改进自身策略，学会更好地推理他人的心理，而它学到的策略是否真的正确？我们用 cogrsi 对此进行研究。一个有依据的读者会标记故事中谁看到了每个事件，并用一条简短的书面原则来解决其解读之间的分歧。在专家撰写的原则下，它以相同的 token 成本胜过自一致性。随后，一个自我改进循环自行撰写该原则。只有当准确率提升超过一个校准后的阈值时，它才保留更新；在一种变体中，还要求它通过反事实测试对。学到的原则具有迁移性：在 800 对任何系统都未见过的 BigToM 数据对上，每一条的得分都高于专家原则。接着我们检查学到的规则实际说了什么。每条规则都被翻译成代码，并在数千个已知答案的小故事上运行。其中大多数在它们声称覆盖的至少一种情境下给出错误答案，例如把身处房间中的角色视为知道发生了什么，即使其正在睡觉。准确率并不能揭示哪些规则是错误的，反事实测试也无法解决这一点。一个策略在实践中可能有帮助，但作为规则仍然是错误的，因此两者都需要检查。我们的代码和数据已公开。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01113 [cs.CL] |
| （或 arXiv:2611.01113v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01113 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yandan Zheng [查看邮箱]
[v1]
2026年10月31日 星期六 16:59:29 UTC（1,029 KB）
来源：arXiv cs.CL · arxiv.org