arXiv cs.CL· Thomas Gebhart, Russell J. Funk·· 9 天前AI 评分24
SciTBERT：面向科学与技术语言处理的时间一致性语言模型系列
SciTBERT: A family of chronologically consistent language models for scientific and technological language processing
AI 导读
SciTBERT 是一系列基于 BERT 的时间一致性语言模型，训练数据来自科学论文、专利和高质量教育网页文本，数据截止日期覆盖 2013 至 2025 每年。
正文 · AI 翻译
摘要：预训练 transformer 模型正越来越多地被用于研究科学和技术进展。针对论文或专利文本调优的编码器在科学与技术领域的下游分类、回归和邻近性任务上优于通用模型。然而，由于这些预训练模型固有的前瞻偏差和领域偏差，它们在研究科学、技术及其界面的时间相关或档案属性方面的适用性受到限制。这些局限源于在时间顺序和文本来源分布不受约束的语料库上进行训练。我们提出 SciTBERT：一族在时间上一致的、由 BERT 衍生的语言模型，其训练文本来自科学论文、专利和高质量教育网络文本，训练数据截止日期覆盖 2013 年至 2025 年之间的每一年。我们还使用论文和专利引用以时间一致的方式对这些模型进行后训练，创建了 SciTBERT-CI 模型族。我们发现，即使训练数据因语料库的早期年份限制而受限，这些模型总体上仍优于前代领域特定编码器模型。为了进一步研究这类模型能在多大程度上学习到连接科学与技术的表征，我们提出了 PatRepEval 基准，一套位于科学与技术界面的专利相关文本嵌入任务。在涵盖论文和专利的各种分类、回归和检索任务中的表现，凸显了将编码器模型表征与其下游任务的领域分布对齐的重要性，而时间一致的编码器可以匹配或超越未受时间约束训练的模型。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12207 [cs.CL] |
| （或 arXiv:2610.12207v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12207 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Thomas Gebhart [查看电子邮件]
[v1]
2026年10月8日星期四 15:57:45 UTC（176 KB）
来源：arXiv cs.CL · arxiv.org