arXiv cs.AI· Mingzhe Zheng, Yue Wu, Jing Tan, Chang Zou, Dengyang Jiang, Zeyue Tian, Xuanhua He, Ryan Xu, Yunyang Ge, Sihui Ji, Yunlong Lin, Kaihang Pan, Hongru Yan, Sixiang Chen, Dianyi Wang, Julian Zhang, Weijie Kong, Changlin Li, Lanqing Guo, Zhao Zhong, Qifeng Chen, Harry Yang·· 10 小时前AI 评分31
EmoReward：面向情感视频生成 RL 的自进化奖励校准机制
EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL
AI 导读
EmoReward 是一种自进化训练机制，通过从实际训练过程收集的奖励轨迹中提炼证据可靠性，自适应指导后续训练的多奖励权重分配。该方法先用情感提示词规划具体 grounding 线索，再以异构信号原语对生成视频打分，并通过 Reflective Reward Gating 按阶段、人脸置信度、冲突与细微度进行实例级门控校准。
正文 · AI 翻译
作者：Mingzhe Zheng、Yue Wu、Jing Tan、Chang Zou、Dengyang Jiang、Zeyue Tian、Xuanhua He、Ryan Xu、Yunyang Ge、Sihui Ji、Yunlong Lin、Kaihang Pan、Hongru Yan、Sixiang Chen、Dianyi Wang、Julian Zhang、Weijie Kong、Changlin Li、Lanqing Guo、Zhao Zhong、Qifeng Chen、Harry Yang
摘要：组相对策略优化（GRPO）已在代码、数学等可验证领域推动了生成模型的后训练，但视频质量评估，尤其是情感表达评估，往往依赖主观审美，且不存在唯一正确的目标。现有方法通常依赖针对视觉质量、运动质量和文本对齐的固定奖励，这些奖励难以捕捉情感意图，还可能诱发奖励作弊；而 RLHF 难以规模化，且受个体审美差异影响，使得跨叙事语境下对面部、身体动作和色彩线索的校准变得复杂。我们提出 EmoReward，一种新的自进化训练机制，它从实际训练运行中收集的奖励轨迹里提炼证据可靠性，通过判断应信任哪些情感证据以及赋予其多大权重，自适应地指导后续训练中的多奖励权重分配。EmoReward 首先从情感提示中规划具体的 grounding 线索以指导评估，然后在 act 阶段使用异构信号基元对生成的视频进行评分。反思式奖励门控（Reflective Reward Gating）通过针对阶段、面部置信度、冲突和细微性的实例级门控来校准各基元的贡献，然后在活跃集合上重新归一化权重，以生成该样本的融合奖励。随后，RewardMemory 在已完成的训练运行中，根据每个情感机制内的 rollout 分数和结果估计各基元的可靠性，然后固定有界乘数，在下一轮训练运行中校准融合权重，而无需更新奖励模型。在 HunyuanVideo 1.5 上的实验表明，该方法在多种 RL 算法上均有提升，并在 SAGE-GRPO 下将 EmoReward 与其他智能体奖励方法进行了比较。在 SD 3.5 和 FLUX 上的消融与迁移实验进一步支持了面向视觉生成的自适应奖励校准。
| 评论： | 30 页，15 张图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06518 [cs.CV] |
| （或 arXiv:2611.06518v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06518 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mingzhe Zheng [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 13:43:09 UTC（28,772 KB）
来源：arXiv cs.AI · arxiv.org