arXiv cs.CL· Mehrdad Ghassabi, Hamidreza Baradaran Kashani, Pedram Rostami, Sadra Hakim, Zahra Kazemi, Amirhossein Poursina, Milad Tavakoli, Audrina Ebrahimi·· 9 天前AI 评分18
Gaokerena:面向消费级硬件的波斯语医疗小模型家族
Gaokerena: A Small Persian Medical Language Model Family
AI 导读
针对波斯语等低资源语言医疗问答研究不足,论文提出 Gaokerena 系列紧凑型波斯语医疗语言模型,可在消费级硬件部署。
正文 · AI 翻译
摘要:人工智能在医学问答系统中的整合已迅速推进;然而,研究仍主要集中在英语上,使得波斯语等低资源语言明显未得到充分服务。为填补这一空白,本文介绍了 Gaokerena,一个面向消费级硬件部署优化的新型紧凑型波斯语医学语言模型系列。作为迈向本地化数字医疗的基础性一步,我们首先提出了 Gaokerena-V,其开发方式是在一个新构建的 9000 万 token 波斯语医学语料库中经过策略性选取的子集(约 5400 万 token)以及 20,000 对经专家审核的医生问答对(约 300 万 token)上训练一个基线模型,总计 5700 万个新 token。这一训练将翻译后的医学 MMLU 基准上的性能从 46.64% 提升至 49.31%。其次,认识到临床推理的关键需求,我们通过将思维链方法与两个新颖的 AI 反馈强化学习(RLAIF)框架相结合来优化基于偏好的推理,从而开发了 Gaokerena-R。尽管使用了与 Gaokerena-V 相同的基线架构和更小的数据集,Gaokerena-R 仍取得了 52.98% 的更优基准分数。此外,两个模型都配备了定制开发的不确定性头,仅基于内部隐藏状态来预测模型对其回答的信心。虽然这些结果展示了波斯语医学语言建模和主动安全估计方面的显著进展,但当前性能水平仍不足以直接用于临床应用,这凸显了在真实世界部署之前,有必要对稳健的知识获取和严格的安全验证开展进一步研究。
| 评论: | 37 页,9 幅图 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2608.00932 [cs.CL] |
| (或 arXiv:2608.00932v5 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2608.00932 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Mehrdad Ghassabi [查看电子邮件]
[v1]
2026 年 8 月 2 日星期日 02:17:10 UTC(499 KB)
[v2]
2026 年 9 月 3 日星期四 07:49:09 UTC(503 KB)
[v3]
2026 年 9 月 24 日星期四 09:52:22 UTC(503 KB)
[v4]
2026 年 10 月 2 日星期五 15:39:40 UTC(503 KB)
[v5]
2026 年 10 月 7 日星期三 23:04:29 UTC(504 KB)
来源:arXiv cs.CL · arxiv.org