arXiv cs.AI· Feng Han, Ayako Yagahara, Kenji Hirata, Atsushi Yoshida, Kohsuke Kudo·· 4 小时前AI 评分20
BERT 与开源大模型在日语临床细粒度命名实体识别上的受控对比
Fine-Grained Japanese Clinical Named Entity Recognition: A Controlled Comparison of BERT and Open-Weight Large Language Models
AI 导读
研究在含 113 类实体的 iCorpus 上对比两个微调 BERT-CRF 基线(relaxed F1 0.836-0.841)与九个开源大模型,零样本最高仅 0.337。
正文 · AI 翻译
摘要:背景:生成式大语言模型(LLM)为基于编码器的临床命名实体识别(NER)提供了一种替代方案,但其在细粒度日语抽取任务上的表现以及对生成设置的敏感性仍不确定。方法:我们在定义了 113 个实体类别的 iCorpus 上,将两个微调后的 BERT-CRF 基线模型与九个开放权重 LLM 进行了比较。评估使用了来自 36 份测试文档的 433 个句子;训练使用了 1,672 个句子。LLM 的评估采用了零样本提示(分别在有、无 JSON Schema 约束的情况下)以及三随机种子的 QLoRA 微调。微调模型在不同输出 token 上限下进行了评估,包括 900 以及更大的模型特定上限 2,600 或 4,096 个 token。性能通过句子级标签-表面匹配来衡量,采用宽松和精确表面 F1。结果:最高的零样本宽松 F1 为 0.337,而 BERT 基线为 0.836-0.841。在更大的输出上限下,所有八个总参数量至少为 13B 的微调 LLM 均超过了两个 BERT 基线(宽松 F1,0.882-0.914;精确表面 F1,0.840-0.880)。在三随机种子均值上,提高输出上限使宽松 F1 提升了 0.052-0.085,同时召回率更高,受长度限制的输出更少。在两个面向推理的配置之外的七个模型中,JSON Schema 约束使宽松 F1 变化了 -0.014 至 +0.008,而医学-通用模型配对未显示出医学专业化的一致优势。结论:在这个历史日语病例报告基准上,任务特定微调结合足够的生成能力与更强的 LLM 抽取性能相关。输出 token 上限实质性地影响了与 BERT 的比较,而仅强制输出结构并未克服低零样本准确率。
| 评论: | 33 页,3 幅图,5 张表;包含附有补充表和一幅补充图的附录 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL) |
| ACM 分类: | I.2.7;J.3 |
| 引用为: | arXiv:2611.22219 [cs.AI] |
| (或 arXiv:2611.22219v1 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.22219 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Feng Han 博士 [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 05:01:24 UTC(1,574 KB)
来源:arXiv cs.AI · arxiv.org