CToM：让 LLM 通过预测用户回应学会自我修订

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）在单个任务上表现出色，但在长时间、多轮交互中仍难以与用户协作，例如在理解用户需求之前就尝试给出解决方案，或在收到反馈后未能修正错误的假设。我们提出协作心智理论（CToM），一个通过显式训练 LLM 预测用户回应并利用这些预测来改进自身行为以应对上述挑战的框架。CToM 起草一个回应，预测用户将如何回应，并利用该预测在给出回应之前指导内部修订。在训练过程中，用户对每个草稿的回复作为预测下一轮的目标，我们训练助手最小化该回复的负对数似然。我们将这一预测目标与组相对策略优化（GRPO）相结合，以同时优化任务性能和交互效率。在数学推理、编程和写作任务中，CToM 的协作任务表现优于所有基线；例如，在协作数学推理任务中，与朴素 GRPO 相比，它将最终准确率从 74.1% 提升到 79.6%。消融实验表明，预测用户回应还能使协作更高效：在相同奖励下，加入预测监督使编程任务中的用户回复数减少 8%，写作任务中减少 17%，同时提升了任务表现。对交互轨迹的行为分析表明，用户回应预测在训练后变得更准确，而更准确的预测通过自我修订与协作任务表现的更大提升相关联。

提交历史

来自：Fanzhi Zeng [查看邮箱]
[v1] 2026年10月9日星期五 02:01:05 UTC（707 KB）