arXiv cs.AI· Ziyun Zou, Jiwoo Hong, Yifan Lu, Shao Tang, Weiyi Wu, Aman Gupta, Jin Tian, Imran Razzak·· 11 小时前AI 评分29
PrefMind：面向多模态回复生成的在线多智能体偏好学习框架
Beyond Reward Scoring: Online Multi-Agent Preference Learning for Multimodal Response Generation
AI 导读
PrefMind 是一个在线双智能体强化学习框架，由可训练的回复生成器 Generator 和偏好评论家 Critic 组成，两者通过分析讨论判断哪条候选回复更符合人类偏好，并由人类标签监督其判断与修正。
正文 · AI 翻译
摘要：多模态偏好对齐通常遵循基于分数的 RLHF 流程：先训练一个奖励模型来学习人类偏好，再用它给在线策略的回复打分，并优化回复模型的生成。这使偏好监督在生成时变成一种标量信号：模型可能学会生成偏好分数更高的答案，但很少被显式训练去学习人类偏好背后的原因。因此我们提出疑问：让偏好理解成为回复模型的内部能力，能否改善其生成？为探究这一问题，我们提出 \textbf{PrefMind}，一个在线双智能体强化学习框架，包含两个可训练智能体：回复生成器（Generator）和偏好评论器（Critic）。给定一对候选回复，两个智能体分析并讨论哪个回复更符合人类偏好。人类标签监督它们的判断与修正。对于生成器和修正后的评论器都能正确识别人类偏好回复的配对，生成器会产出一个改进后的答案，评论器将其与原始偏好回复进行比较，以提供生成奖励。两个智能体都基于用其当前策略采样得到的交互进行联合更新。通过这一过程，\textbf{PrefMind} 训练生成器通过显式判断与修正来理解人类偏好，并将这种理解转化为更好的回复。在三种模型规模上的实验表明，独立偏好判断和下游回复生成均有提升。
| 评论： | 32 页，4 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23256 [cs.AI] |
| （或 arXiv:2610.23256v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.23256 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziyun Zou [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 10:28:14 UTC（1,018 KB）
来源：arXiv cs.AI · arxiv.org