arXiv cs.CL· Tarek Naous, Craig Boutilier, Wei Xu, Ofer Meshi·· 6 天前AI 评分31
用潜在内在反馈训练用户模拟器
Training User Simulators with Latent Intrinsic Feedback
AI 导读
研究者提出"带内在反馈的用户模拟器"，即为模型配备潜在评估状态——每轮对话中从第一人称用户视角生成内部想法、反应和标量评分。基于真实用户与助手的交互日志训练后，该模拟器在模拟真实性和批判行为上优于提示词基线，并提供现有微调模拟器缺失的轮级评估，其评估与人类判断的相关性也更高。
正文 · AI 翻译
摘要：用户模拟器作为训练 LLM 助手的环境正受到关注，这类助手能够更好地应对与真实用户进行多轮对话时的细微之处。以往关于用户模拟的工作侧重于生成逼真的用户话语，而对其作为助手回复直接反馈来源的潜力尚未探索。此类评估信号可能不会以语言形式明确传达，而是存在于用户的潜在推理中。在这项工作中，我们引入了具有内在反馈的用户模拟器，即配备了潜在评估状态的模型：在每一轮对话中，从第一人称用户视角评估助手的内部想法、反应和标量评分。我们使用真实用户与助手之间的交互日志训练基于 LLM 的模拟器，并证明与提示式模拟器基线相比，内在反馈提高了模拟的真实性和批判行为，同时还提供了现有微调模拟器所缺乏的轮级评估。此外，与相同规模的提示式模拟器相比，我们训练的模拟器生成的评估与人类判断的相关性更好。最后，我们的实验表明，具有内在反馈的模拟器为多轮 RL 训练提供了有效的奖励信号，其效果与依赖外部评判 LLM 提供奖励的设置相当，同时将 RL 计算量减少了一半以上。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13617 [cs.CL] |
| （或 arXiv:2610.13617v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13617 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tarek Naous [查看电子邮件]
[v1]
2026年10月9日星期五 14:00:36 UTC（868 KB）
来源：arXiv cs.CL · arxiv.org