JEPA-DNA：用联合嵌入预测架构为基因组基础模型注入功能语义
JEPA-DNA: Grounding Genomic Foundation Models through Joint-Embedding Predictive Architectures
JEPA-DNA 是一个模型无关的持续训练框架，将联合嵌入预测架构（JEPA）与生成式目标结合，通过监督潜空间中的全局序列嵌入，让模型预测被掩码基因组片段的功能表征，把学习信号从 token 还原转向语义对齐。在 17 项基因组基准任务上，无论底层 GFM 架构或生成目标如何，线性探测与零样本性能均获一致提升，并在线性探测协议下刷新 GFM 的 SOTA。代码见补充材料。
作者：Ariel Larey、Elay Dahan、Amit Bleiweiss、Raizy Kellerman、Guy Leib、Omri Nayshool、Dan Ofer、Tal Zinger、Dan Dominissini、Gideon Rechavi、Nicole Bussola、Simon Lee、Shane O'Connell、Dung Hoang、Marissa Wirth、Alexander W. Charney、Nati Daniel、Yoli Shavit
摘要：基因组基础模型（GFM）通常依赖掩码语言建模（MLM）或下一词元预测（NTP）来学习“自然法则”。尽管这些生成式范式在捕捉局部语法方面很有效，但它们优先考虑词元级重建，而非高层功能上下文。我们提出 JEPA-DNA，这是一个与模型无关的持续训练框架，将联合嵌入预测架构（JEPA）与传统的生成式目标相结合。通过在潜在空间中对全局序列嵌入进行监督，JEPA-DNA 迫使模型预测被掩码基因组片段的功能表示，将学习信号从词元恢复转向语义对齐。我们在 17 项多样化的基因组基准任务上评估 JEPA-DNA，证明无论底层 GFM 架构或生成式目标如何，在线性探测和零样本性能上均取得一致提升，并在线性探测协议下为 GFM 建立了新的最先进水平。通过广泛的消融研究，我们进一步刻画了生成式目标与潜在目标之间的协同相互作用。我们的代码见补充材料。
| 学科： | 人工智能（cs.AI）；基因组学（q-bio.GN） |
| 引用格式： | arXiv:2602.17162 [cs.AI] |
| （或使用 arXiv:2602.17162v4 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2602.17162 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ariel Larey [查看电子邮件]
[v1]
2026年2月19日星期四 08:20:51 UTC（824 KB）
[v2]
2026年5月25日星期一 17:29:16 UTC（1,754 KB）
[v3]
2026年8月11日星期二 09:21:39 UTC（1,746 KB）
[v4]
2026年10月15日星期四 13:37:06 UTC（1,764 KB）
来源：arXiv cs.AI · arxiv.org