arXiv cs.AI· Jungwoo Park, Taewhoo Lee, Jaewoo Kang·· 3 天前AI 评分42
UltraBERT：突破 BERT 预训练极限
UltraBERT: Beyond the Limit of BERT Pre-Training
AI 导读
UltraBERT 是首个在分类与检索任务上同时达到 SOTA 的编码器，GLUE 得分 91.0、BEIR 得分 47.7。它通过在同一批次内为低、高掩码率分配独立 LM 头，并将蒸馏目标限制在低掩码率，解决了此前单一编码器无法兼顾两类任务的难题。研究还发现编码器在下游任务上超过数万亿 token 后即饱和，且低掩码率利于分类、高掩码率利于检索。
正文 · AI 翻译
摘要：近期，双向编码器借助因果大语言模型（LLM）的创新实现了现代化。然而，其预训练方案本身仍沿袭小规模时代的惯例，导致编码器优化不足，且没有任何单一模型能在分类和检索任务上都具备竞争力。在本工作中，我们通过重新审视训练中的核心设计选择，探究编码器性能还能被推到多远，并揭示了三个关键发现：（1）编码器在下游任务上超过数万亿 token 后即饱和，表明超过此点的额外算力并无帮助。（2）在不同模型规模下，较低的掩码率有利于分类，而较高的掩码率有利于检索，这与先前认为更大模型应采用更大掩码率的工作相矛盾。（3）带剪枝的蒸馏在低掩码率下提升分类，但在高掩码率下降低检索性能。基于这些发现，我们提出 UltraBERT，这是一个单一编码器，在同一批次内为低掩码率和高掩码率分别分配独立的 LM 头，并将蒸馏目标限制在低掩码率上。据我们所知，UltraBERT 是首个在分类和检索任务上均达到最先进水平的编码器，在 GLUE 上达到 91.0，在 BEIR 上达到 47.7。这些结果共同表明编码器性能还能被推到多远，并为双向模型中的算力分配、掩码率设计和知识迁移提供了有原则的依据。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15028 [cs.CL] |
| （或 arXiv:2610.15028v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15028 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jungwoo Park [查看邮箱]
[v1]
2026年10月10日星期六 16:11:27 UTC（1,167 KB）
来源：arXiv cs.AI · arxiv.org