跳到正文
热点事件持续更新

研究发布拉丁语编码器LAMB及两个语料库

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Aidan McCarthy 等人提出基于 ModernBERT 架构的拉丁语编码器 LAMB,采用形态学感知的掩码方案,分两阶段在超过 740 亿拉丁语 token 上完成预训练。 研究同时发布两个语料库:Acervus 包含 240 亿 BERT WordPiece token,其中有超过 76 万条经 ByT5 修复的严重损坏 OCR 样本;Corpus Trinum 是首个拉丁语语义三元组数据集,包含超过 1 亿组强弱三元组。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv cs.CL
    LAMB:面向拉丁语的现代上下文语言模型

    基于 ModernBERT 架构的拉丁语编码器 LAMB 发布,采用形态学感知掩码方案,在两阶段预训练中使用了超过 74B 拉丁语 token。研究同时推出 Acervus(24B BERT WordPiece token,含超 760K 条经 ByT5 修复的严重损坏 OCR 样本)和首个拉丁语语义三元组数据集 Corpus Trinum(超 100M 强弱三元组)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。