用强化学习让模型学会"感知到行动"规则，提升心智理论推理

Learning Perception to Action Rules through Reinforcement Learning for Theory-of-Mind Reasoning

AI 导读

研究用 GRPO 训练 Qwen2.5 和 Llama3，让模型生成连接感知与行动的 if-then 规则，在四个心智理论（ToM）基准上优于提示、监督微调和 think 推理。3B 以上大模型生成的规则还能迁移，提升 GPT-4o-mini 的下游表现，说明显式规则可弥合 ToM 推理差距并支持跨模型知识迁移。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：在心理理论（ToM）推理中，大型语言模型可能正确推断出智能体的心理状态，但在预测或判断智能体后续行动时却未能运用该推断。在本研究中，我们探究用规则显式连接感知、信念与行动是否能改善 ToM 推理。我们生成简洁的 \textit{if--then} 规则来表达从感知到行动的关系，并使用组相对策略优化（GRPO）在四个 ToM 基准上训练 Qwen2.5 和 Llama3 模型。带规则生成的 GRPO 优于提示、监督微调和思考推理。此外，由更大模型（$\geq$3B）生成的规则提供了可迁移的知识，提升了 GPT-4o-mini 的下游性能。这些发现表明，显式规则有助于模型弥合 ToM 中的推理差距，并支持跨模型的知识迁移。

学科：	人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2610.19796 [cs.AI]
	（或 arXiv:2610.19796v1 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.19796 由 DataCite 颁发 arXiv DOI（待注册）

提交历史

来自：Soyoung Oh [查看邮箱]
[v1] 2026年10月14日星期三 08:40:06 UTC（884 KB）

来源：arXiv cs.CL · arxiv.org