arXiv cs.CL· Davide Vitabile, Alexandro Buffa, Akshay Nambiar, Amril Nazir·· 10 小时前AI 评分55
MedPsy：面向端侧部署的 1.7B 与 4B 医疗语言模型
MedPsy: State-of-the-Art Small Medical Language Models for Efficient Edge Deployment
AI 导读
MedPsy 推出面向端侧部署的纯文本 1.7B 和 4B 医疗语言模型，训练配方结合合成医疗数据管线与 235B 医疗教师模型的思维链目标，并采用两阶段 SFT 加两阶段 RL 的后训练课程。
正文 · AI 翻译
摘要：医学语言模型有望提供专家级临床支持，但最强的开源大语言模型对于私有边缘设备部署而言仍然过大，而紧凑型医学模型在知识密集型和真实世界医疗任务上仍明显落后。符合边缘内存预算的推理模型可能产生较长的推理轨迹，从而增加顺序解码、端到端延迟、能耗和 KV 缓存内存压力。我们提出 MedPsy，这是一系列专为边缘部署设计的纯文本 1.7B 和 4B 医学语言模型，旨在解决这一准确性—生成—效率的权衡问题。我们的方案结合了基于生物学、医学和健康种子的合成医学数据流水线，以及来自一个 235B 医学专用大语言模型教师的思维链目标；一个四阶段后训练课程，包括两个 SFT 阶段，随后是两个带难样本挖掘的 RL 阶段；以及一个边缘部署评估，涵盖多个 GGUF 量化变体，并在笔记本电脑和智能手机硬件上进行真实设备推理。在七个封闭式医学基准上，MedPsy-4B 比 MedGemma-1.5-4B 高出 19.34 分，并与 MedGemma-27B 持平，而体积小 6.75 倍；MedPsy-1.7B 尽管体积不到 MedGemma-1.5-4B 的一半，仍比其高出 11.42 分。在 HealthBench-Hard 上，MedPsy-4B 比 MedGemma-27B 高出 15.33 分，而 MedPsy-1.7B 尽管体积约小 16 倍，仍比其高出 11.66 分。除准确性外，与其 Qwen3 骨干模型相比，MedPsy 将平均响应长度缩短了 1.7 倍（1.7B）和 3.2 倍（4B），而 Q4_K_M 量化将综合得分保持在 BF16 的 1 分以内，同时磁盘占用降低约 69%。在真实设备推理中，在相同量化下，MedPsy-4B 更短的生成使其端到端延迟中位数和每答案估计能耗比其 Qwen3 骨干模型低 75%，而在我们测试的笔记本电脑和智能手机配置中，峰值 RAM 均保持在 5 GB 以下。
| 评论： | 已被 NeurIPS 2026（主会议）接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02011 [cs.CL] |
| （或针对此版本的 arXiv:2611.02011v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2611.02011 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Amril Nurman Nazir [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 15:52:32 UTC（992 KB）
来源：arXiv cs.CL · arxiv.org