arXiv cs.CL· Mingqing Yuan, Xiaobo Liang, Junwei Yang, Ziwei Chen, Zeren Zhang, Hejin Wang, Yubin Wang, Juntao Li·· 10 天前AI 评分26
LatentGRM：通过语义保持压缩实现高效生成式奖励建模
Judging in Latent Space: Efficient Generative Reward Modeling via Semantics-Preserving Compression
AI 导读
研究者提出 LatentGRM，一种基于语义分块、压缩与重建的潜在评估框架，通过学习紧凑连续轨迹实现自主成对判断，无需生成文本评估。在相同训练数据和骨干下，LatentGRM 在 4B 和 8B 规模上取得与显式 SFT 评判模型相当的偏好准确率；LatentGRM-8B 在四个基准领域将评估轨迹压缩 8.9–9.2 倍，vote@5 下评判推理总时间减少 6.1–7.0 倍。
正文 · AI 翻译
摘要：奖励建模通常需要联合表示并推理多个评估标准，而逐 token 地将这一过程言语化会带来可观的推理成本。近期关于潜在推理的研究表明，连续状态可能更紧凑地支持这一计算。我们提出 LatentGRM，一个基于语义分块、压缩与重建的潜在评估框架。通过利用评分标准引导评估的结构来指导压缩，LatentGRM 学习紧凑的连续轨迹，从而支持自主的成对判断，而无需生成文本评估。一个独立的解释器从这些轨迹中重建评估文本，提供压缩下所保留信息的离线视图。在匹配的训练数据和骨干网络下，LatentGRM 在 4B 和 8B 规模上均取得了与显式监督微调（SFT）评判器相比具有竞争力的总体偏好准确率。在四个基准领域上，LatentGRM-8B 在 vote@5 下将评估轨迹压缩 8.9--9.2 倍，并将评判器总推理时间减少 6.1--7.0 倍。受控的评分标准干预表明，依赖标准的偏好信息通过潜在序列得以传递。总之，这些结果表明，连续潜在评估可以在保持有竞争力的判断质量的同时，大幅降低推理成本。
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09788 [cs.CL] |
| （或 arXiv:2610.09788v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09788 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mingqing Yuan [查看邮箱]
[v1]
2026年10月7日星期三 10:05:06 UTC（326 KB）
来源：arXiv cs.CL · arxiv.org