arXiv cs.AI· Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter·· 10 天前AI 评分22
DAR：面向 LLM 回归的预测分布强化学习
Reinforcement Learning over Predictive Distributions for LLM Regression
AI 导读
研究者提出 Distribution-Aware Reward（DAR），一种 on-policy 强化学习目标，通过联合评估同一输入下多次预测形成的经验预测分布，并按每个预测对整体分布质量的 leave-one-out 贡献分配奖励。在合成插值/外推任务及代码、分子两个真实科学回归任务上，DAR 相比监督微调和逐点强化学习降低了预测误差、提升了排序质量，并给出校准更好的不确定性估计。
正文 · AI 翻译
摘要：大型语言模型（LLM）已成为灵活的回归器，能够从异构输入中预测实值量。然而，大多数 LLM 回归目标独立地优化预测，往往导致校准不佳。我们提出分布感知奖励（DAR），一种同策略强化学习目标，它转而联合评估由同一输入的多个预测形成的经验预测分布。为了将这个分布级目标转化为 rollout 级奖励，我们根据每个预测对整体预测分布质量的留一贡献为其分配信用。这鼓励预测既居中良好，又围绕目标适当分散。我们在三种回归设置上进行评估：一个探测插值与外推的合成任务，以及两个涉及代码和分子数据的真实世界科学任务。在所有任务中，DAR 产生校准更好的不确定性估计，同时相比监督微调和逐点强化学习持续降低预测误差并提升排序质量。总之，这些结果凸显了分布感知训练对 LLM 回归的益处。
| 评论： | 27 页，7 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.20740 [cs.LG] |
| （或使用 arXiv:2605.20740v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.20740 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Jungsoo Park [查看电子邮件]
[v1]
2026 年 5 月 20 日星期三 05:43:40 UTC（2,468 KB）
[v2]
2026 年 10 月 6 日星期二 17:48:09 UTC（3,495 KB）
来源：arXiv cs.AI · arxiv.org