Labadain-MedQA：面向大语言模型微调与评估的 Tetun 医疗问答数据集

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）的进展为将医学知识从高资源语言跨语言迁移到低资源语言创造了机会，以支持获取医疗保健信息。然而，用于微调和评估 LLM 的 Tetun 医学问答（QA）数据集仍然稀缺。为填补这一空白，我们使用 Gemini 2.5 Flash 将 MedAlpaca 的 Medical Flashcards 和 WikiDoc Patient Information 集合翻译成 Tetun，生成了 39,077 个医学 QA 对。翻译质量在 50 个随机抽样的 QA 对（100 份文档）上进行了评估，使用自动指标与人工参考译文进行对比，并由两位母语为 Tetun 的医疗保健专业人员进行评估，重点关注医学准确性和 Tetun 流畅度。在两项标准上，人工翻译的平均评分均高于 LLM 生成的翻译（4.43/5 对 4.02/5），差异具有统计学显著性（Wilcoxon 符号秩检验，p < 0.001）。为评估下游效用，我们使用参数高效微调（PEFT）在翻译后的 MedAlpaca 数据集上微调了 Gemma 和 Llama 变体，并在 325 道翻译成 Tetun 的美国医师资格考试多项选择题上进行了评估。使用 QLoRA 微调的 Gemma 4 12B 在 4 位 NormalFloat（NF4）推理下平均准确率相对提升 10.79%，将 LoRA 适配器合并到 BF16 基础模型后相对提升 10.42%，均与相应的基础模型相比。这些结果凸显了自动数据集翻译用于 Tetun 医学 QA 的可行性，以及 PEFT 在提升模型性能方面的有效性。数据集、模型和评估资源可在此 https URL 获取，以支持 Tetun 医学 QA 的可复现研究，并促进机器翻译、跨语言和多语言研究。

学科：	计算与语言（cs.CL）；人工智能（cs.AI）
引用为：	arXiv:2611.00935 [cs.CL]
	（或 arXiv:2611.00935v1 [cs.CL] 为此版本）
	https://doi.org/10.48550/arXiv.2611.00935 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Gabriel De Jesus [查看电子邮件]
[v1] 2026 年 10 月 31 日星期六 13:36:05 UTC（222 KB）