arXiv cs.AI· Yuxuan Zhang, Cong Wei, Penghui Du, Bo Li, Junwen Miao, Huaisong Zhang, Songcheng Cai, Yubo Wang, Dongfu Jiang, Yuyu Zhang, Changqian Yu, Ping Nie, Wenhu Chen, Kelsey R. Allen·· 3 天前AI 评分36
RewardHarness：自进化智能体式后训练框架
RewardHarness: Self-Evolving Agentic Post-Training
AI 导读
RewardHarness 是一个免训练、自进化的智能体奖励框架，将奖励建模重构为上下文演化而非权重优化，仅用 100 条偏好演示即可迭代演化工具与技能库。它仅使用 EditReward 偏好数据 0.05% 的规模，在 EditReward-Bench K=2/3/4 和 GenAI-Bench 上达到 47.4% 平均准确率，超过 GPT-5 达 5.3 个百分点。
正文 · AI 翻译
作者：Yuxuan Zhang、Cong Wei、Penghui Du、Bo Li、Junwen Miao、Huaisong Zhang、Songcheng Cai、Yubo Wang、Dongfu Jiang、Yuyu Zhang、Changqian Yu、Ping Nie、Wenhu Chen、Kelsey R. Allen
摘要：使生成模型与人类偏好对齐仍然是一项核心挑战。尽管 RLHF 被广泛采用，但它依赖大规模偏好数据。这一局限在评估指令引导的图像编辑时尤为明显，尽管人类通常仅凭少量示例就能学会此类偏好。我们提出 RewardHarness，一个无需训练、自我演化的智能体奖励框架，它将奖励建模重新定义为上下文演化而非权重优化。RewardHarness 不依赖大规模标注进行学习，而是通过从少至 100 个偏好演示中迭代演化一个工具与技能库来与人类偏好对齐。给定源图像、编辑后的图像和编辑指令，一个编排智能体从维护的库中选择最相关的工具与技能子集，子智能体调用它们构建推理链以产生奖励分数。通过将预测分数与真实偏好进行比较，并分析推理过程中的成功与失败，编排智能体无需额外人工标注即可自动改进其工具与技能库。仅使用 EditReward 偏好数据的 0.05%，RewardHarness 在 EditReward-Bench K=2/3/4 和 GenAI-Bench 上达到 47.4% 的平均准确率，超过 GPT-5 5.3 个百分点。当作为 FlowGRPO 中的奖励信号使用时，经 RL 调优的模型在 ImgEdit-Bench 上达到 3.52。代码和模型可在项目页面获取：this https URL
| 评论： | 项目页面：this https URL |
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.08703 [cs.AI] |
| （或 arXiv:2605.08703v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.08703 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuxuan Zhang [查看邮箱]
[v1]
2026年5月9日星期六 05:32:48 UTC（11,259 KB）
[v2]
2026年10月12日星期一 10:20:42 UTC（23,202 KB）
来源：arXiv cs.AI · arxiv.org