arXiv cs.CL· Yang Liu, Zhiqiang Yuan, Shu-Dong Huang, Jiancheng Lv, Liwei Yang, Qiwei Yan, Kailin Lv, Jinchao Zhang·· 12 小时前AI 评分31
ULME：让嵌入与语言建模相互增强的预测耦合框架
ULME: Predictive Coupling for Mutually Reinforcing Embedding and Language Modeling
AI 导读
ULME 是一个后训练框架，在因果 decoder-only LLM 上通过预测耦合统一嵌入与语言建模，让生成反向塑造嵌入所编码的内容。
正文 · AI 翻译
摘要：文本嵌入和文本生成是现代大语言模型最有用的两项能力，但它们通常由分别训练的专用模型（一个嵌入器和一个生成器）提供，这些模型使用互不兼容的目标进行训练，并在检索增强生成和智能体系统中并排部署。近期诸如 GritLM 之类的统一嵌入-生成模型在两种能力之间共享参数，但它们要么在模式之间切换注意力机制，要么将嵌入和语言建模作为彼此从不监督的并行目标进行优化。我们认为这些设计只是部分统一：两种能力共存于同一组权重上，但并未相互塑造。我们提出 ULME，一个后训练框架，通过预测耦合在仅解码器的因果 LLM 上统一嵌入和语言建模。ULME 在查询和答案之间插入一串可学习槽位，从两个指定槽位读取语义嵌入和推理嵌入，并在共享的因果主干上训练三个目标：一个将语义槽位锚定到文档表示的对比损失、一个监督答案生成的语言建模损失，以及一个将推理槽位与答案的池化摘要对齐的停止梯度预测损失，从而使生成主动塑造嵌入所编码的内容。在两个模型系列（Qwen2.5、Qwen3）和涵盖 0.5B-8B 参数的八个规模上，单个 ULME 检查点将 MTEB 较最强的开源基线提升 3.3-4.1 分，同时收紧 BRIGHT 和 AdvBench-IR，并在标准准确率基准（MMLU、GSM8K、MMLU-Pro、HumanEval）上与仅生成微调持平，表明真正的统一产生的是相互增强而非仅仅共存的能力。
| 评论： | AAAI 2027 已提交 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.30705 [cs.CL] |
| （或 arXiv:2610.30705v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30705 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhiqiang Yuan [查看电子邮件]
[v1]
2026年10月22日星期四 04:23:07 UTC（168 KB）
来源：arXiv cs.CL · arxiv.org