arXiv cs.AI· Chaofei Hong, Ziyang Chen, Baochen Wang, Christina Yi Jin, Qing Zhang·· 12 小时前AI 评分31
AC-JEPA：面向视觉到符号翻译的锚定跨模态联合嵌入预测架构
AC-JEPA: Anchored Cross-Modal Joint Embedding Predictive Architecture for Visual-to-Symbolic Translation
AI 导读
研究者提出 AC-JEPA，一种兼容 SFT 的插件式架构，通过配对数据在跨模态双向预测被掩码的中间状态，将联合嵌入目标与 token 级监督结合。在光学化学结构识别任务上，AC-JEPA 在 WildMol 基准 Simple 集达到 76.07% 准确率，而单独 SFT 为 67.40%。
正文 · AI 翻译
摘要：跨模态翻译要求模型在捕捉跨模态共享语义的同时，保留目标模态所需的细粒度结构。然而在现实科学领域中，配对数据往往并不完美，而大规模获取干净配对数据的成本很高。监督微调（SFT）通过类别式 token 级监督直接优化跨模态翻译，但该目标对目标序列中的错误较为敏感。JEPA 提供了一种互补的表征空间目标，但现有的大多数公式侧重于模态内的预测，而非跨模态的翻译。我们提出 Anchored Cross-Modal JEPA（AC-JEPA），这是一种与 SFT 兼容的插件，利用配对数据在跨模态的两个方向上预测被掩码的中间状态。联合嵌入目标针对的是可由上下文预测的跨模态结构，而因果 SFT 路径则保留对目标序列的直接 token 级监督。在自训练过程中，AC-JEPA 从不完美伪标签配对中导出的连续潜在目标中学习，从而对局部数据错误具有内在容忍度，而无需将伪 token 提升为硬类别监督。以光学化学结构识别作为测试平台，在干净配对上训练的 AC-JEPA 在 WildMol 基准的 Simple 集上达到 76.07% 的准确率，而单独使用 SFT 为 67.40%。两种方法使用相同的伪标签数据时，基于 AC-JEPA 的自训练进一步将准确率提升至 80.23%，而直接 SFT 的准确率则从 67.40% 降至 63.47%。这些结果支持将 SFT 锚定的联合嵌入预测作为在精选监督和不完美监督下进行跨模态翻译的有效策略。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36493 [cs.AI] |
| （或 arXiv:2610.36493v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36493 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chaofei Hong [查看邮箱]
[v1]
2026年10月27日星期二 01:49:22 UTC（1,898 KB）
来源：arXiv cs.AI · arxiv.org