arXiv cs.CL· Prakhar Mishra, Bhavya Yajush Awasthi, Tanuja, Nishant·· 10 小时前AI 评分24
自奖励强化学习让小语言模型的医学解释结构更清晰
Self-Rewarded Reinforcement Learning for Better-Structured Medical Explanations in Small Language Models
AI 导读
研究团队在指令微调的 Mistral-7B 上,用 LoRA 适配的 PPO 对 2000 条 Meerkat 衍生医学提示词做约 170 步强化学习训练,奖励仅基于自监督信号(偏好更长、词汇多样、标点规范的回复,惩罚过短回复),单张 NVIDIA A100 即可完成。
正文 · AI 翻译
摘要:小型语言模型(SLM)可以在普通硬件上运行,并支持保护隐私的本地临床部署,但与大型语言模型相比,它们的医学解释往往简短且结构不佳。近期诸如 Meerkat 的监督式方法将思维链推理迁移到 7B-8B 骨干模型中,但其训练目标并不直接针对所生成推理的风格或组织方式。基于经过指令微调的 Mistral-7B 骨干模型,我们研究是否可以在没有人类偏好标签的情况下,通过轻量级强化学习(RL)步骤改善解释结构。我们将带有 LoRA 适配的近端策略优化(PPO)应用于 2000 个源自 Meerkat 的医学提示,并由一个简单的自监督奖励引导,该奖励偏好更长、词汇多样且标点良好的回答,同时惩罚过短的回答。在单块 NVIDIA A100 GPU 上训练约 170 个 PPO 步骤,可使平均奖励稳定提升。定量和定性比较表明,经 RL 调优的模型能生成更长、更有条理、多要点的解释,同时保留底层医学内容。我们讨论了自奖励 RL 在塑造医学解释风格方面的前景与局限。
| 评论: | 14 页,10 幅图 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.24650 [cs.AI] |
| (或使用 arXiv:2611.24650v2 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2611.24650 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Bhavya Yajush Awasthi [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 15:52:24 UTC(48,594 KB)
[v2]
2026 年 11 月 19 日星期四 05:26:05 UTC(48,590 KB)
来源:arXiv cs.CL · arxiv.org