arXiv cs.CL· Roshan Balaji, Pavan Kumar S, Vasudev Gupta, Sreejith N, Keerthana Sridhar, Nirav Bhatt·· 9 天前AI 评分22
BioBigBird：面向生物医学文本长程依赖处理的稀疏注意力模型
BioBigBird: A Sparse Attention Model for Long-Range Dependency Processing in Biomedical Text
AI 导读
BioBigBird 是一个在生物医学文献与临床数据上预训练的双向语言模型，采用稀疏注意力机制处理最长 4096 tokens 的序列，并通过多阶段训练降低大规模预训练语料噪声。该模型引入多任务学习框架联合优化命名实体识别与关系抽取，在 BLURB 基准上取得与 SOTA 模型高度接近的结果，模型已公开。
正文 · AI 翻译
摘要：尽管领域特定的大型语言模型（LLM）已经编码了海量的生物医学知识，但其有限的上下文窗口往往阻碍了对文本内部及跨文本间细微关系的深入理解。为解决这一局限，我们提出了 BioBigBird，一种在大量生物医学文献和临床数据上预训练的双向语言模型，专为处理长距离依赖而设计。BioBigBird 利用稀疏注意力机制处理长达 4096 个 token 的序列，其训练采用多阶段流程以减轻大规模预训练语料带来的噪声。我们进一步通过采用多任务学习（MTL）框架联合优化命名实体识别和关系抽取来提升其性能。在 BLURB 基准上的全面评估表明，我们经 MTL 增强的 BioBigBird 与最先进的模型相比取得了极具竞争力的结果。我们的工作为开发面向专业领域的强大长上下文语言模型提供了一套有效的方法，展示了扩展序列处理对复杂文本分析的价值。我们的模型已公开提供，见 此 https URL。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11430 [cs.CL] |
| （或 arXiv:2610.11430v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11430 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Roshan Balaji [查看邮箱]
[v1]
2026年10月8日星期四 07:54:12 UTC（2,787 KB）
来源：arXiv cs.CL · arxiv.org