CardioLM：面向心脏病学领域的多语言小型语言模型套件

计算机科学 > 计算与语言

arXiv:2611.07940 (cs)

作者：Manuela-Daniela Danu、Miguel Rodríguez-Ortega、Alberto Becerra-Tome、Pablo Arancibia、Fernando Gallego-Donoso、Lorenzo Pratesi、Xi Bai、Andrei-Damian Dinescu、Salvador Lima-López、Andrea Guala、Saskia Haitjema、Jonas Mack、Michele Miranda、Wesam Al Nabki、Jan Rodríguez-Miret、Vasile George Marica、Vladimír Kincl、Kateřina Dostálová、Michael Andrej、Alicia Ujil、Corinne Allaart、Machteld Boonstra、Malin Overmars、Anoop Shah、Giovanna Ceroni、Jonathan Kossoff、Domenico D'Amario、Renzo Laborante、Antonio Iaconelli、Isabella Fumarulo、Jacopo Lenkowicz、Livia Lilli、Emma Weiss、Alex Scafa、Felix Lindberg、Milou Gamage、Eulàlia Farré-Maduell、Sébastien Bratières、Martin Krallinger、Bram van Es

查看 PDF HTML（实验性）

摘要：背景：心血管诊疗会产生大量以当地语言书写的临床自由文本记录。然而，临床自然语言处理（NLP）资源仍集中在英语，且现有基准均不具备心脏病学专用、多语言、实体覆盖广泛的特点。
方法：我们提出两项贡献。第一是 CardioCCC，一个包含 508 份心脏病学病例报告的语料库，最初以西班牙语发表，并通过机器翻译、标注投影和临床医生审核扩展至捷克语、荷兰语、英语、意大利语、罗马尼亚语和瑞典语，标注涵盖疾病、症状、操作和药物。第二是 CardioLM，包括 CardioBERTa（通过在心脏病学和生物医学语料上继续预训练获得的一组语言特定编码器）和 CardioNER（在 CardioCCC 上微调的一组命名实体识别（NER）模型）。
结果：心脏病学专用预训练将伪困惑度最多降低至原来的八分之一，但严格跨度级 F1 的变化至多为 0.04，且收益集中在骨干模型缺乏生物医学覆盖的语言上。联合训练的多语言 XLM-RoBERTa-large 模型在几乎所有语言和实体类型上取得了最佳严格 F1，比最强的单语系统高出最多 0.13 F1。相当一部分残余错误涉及边界检测：宽松匹配使疾病、操作和症状的 F1 回升 0.10-0.23，但药物仅回升 0.01-0.07。临床医生对 CardioNER 的评价远高于基于规则和词典的基线，各实体类型的平均评分从 26% 升至 73%。
结论：专科专用预训练并非下游实体识别的决定性因素，而多语言联合训练在几乎所有设置下都能取得最佳结果，并为多国临床信息抽取提供了更简单的部署路径。

评论：	91 页，7 幅图，33 张表（正文 9 张，附录 A 23 张，附录 B 1 张）
学科：	计算与语言 (cs.CL)；人工智能 (cs.AI)
引用为：	arXiv:2611.07940 [cs.CL]
	（或 arXiv:2611.07940v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.07940 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Manuela-Daniela Danu [查看邮箱]
[v1] 2026 年 11 月 5 日星期四 12:41:19 UTC（1,689 KB）

当前浏览上下文：

cs.CL

切换浏览至：

书签

文献与引用工具

与本文相关的代码、数据和媒体

演示

arXivLabs：与社区合作者的实验性项目

arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。

与 arXivLabs 合作的个人和组织都认同并接受了我们的价值观：开放、社区、卓越和用户数据隐私。arXiv 致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。

有能为 arXiv 社区增加价值的项目想法？了解更多关于 arXivLabs 的信息。