arXiv cs.AI· Arash Ahmadi, Parisa Masnadi Khiabani, Sarah Sharif, Charles Nicholson, David Ebert, Aswathy K. Vaikom House, Mike Banad·· 3 天前AI 评分24
用方差感知评分奖励与 GRPO 提升 LLM 心脏医学问答能力
Improving Heart-Focused Medical Question Answering in LLMs via Variance-Aware Rubric Rewards with GRPO
AI 导读
研究用 GRPO 结合 RaR-Medicine 的评分标准监督，提出方差感知奖励框架，从准则级结果构建连续奖励以保留部分得分、降低奖励稀疏性。基于低秩适配器与量化权重的 Qwen3-14B，在留出的心脏相关 HealthBench 子集上最佳变体将准确率从 0.362 提升至 0.502、F1 从 0.532 提升至 0.668，接近 GPT-OSS-120B。
正文 · AI 翻译
摘要：大型语言模型可以支持医学问答，但在特定领域中，隐私、成本和可靠性仍然限制其临床应用。基于评分标准的强化学习能否让本地可部署的模型接近规模大得多的系统？我们研究了基于 RaR-Medicine 评分标准监督的、面向心脏相关医学问答的组相对策略优化（GRPO）。我们的方差感知奖励框架不依赖二元评分标准聚合或单一总体分数，而是从标准级结果构建连续奖励。它保留了部分得分并减少了奖励稀疏性。我们使用低秩适配器和量化权重对 Qwen3-14B 策略进行适配。在留出的心脏相关 HealthBench 子集上，最佳 GRPO 变体相比基础模型将准确率从 0.362 提升至 0.502，F1 从 0.532 提升至 0.668，接近 GPT-OSS-120B。一位独立临床医生将大多数回答评为临床可接受（61%）和患者可用（63%），两者均高于自动准确率；不到 2% 的回答不安全。综合来看，这些结果支持基于评分标准的强化学习是构建特定领域医学语言模型的一条实用路径。
| 评论： | 正文 29 页，另加补充信息 30 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.05174 [cs.CL] |
| （或 arXiv:2606.05174v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.05174 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yaser Banad [查看电子邮件]
[v1]
2026 年 4 月 17 日星期五 03:08:55 UTC（746 KB）
[v2]
2026 年 10 月 13 日星期二 01:33:59 UTC（1,562 KB）
来源：arXiv cs.AI · arxiv.org