arXiv cs.AI· Jianpeng Cheng, Guangyu Sun, Aashu Singh, Benyu Zhang, Haixing Dai, Hossein Mansour, Jiangfan Zhang, Shlok Kumar Mishra, Wei Sun, Xuanming Cui, Yanli Liu, Qi Guo, Max Xiangjun Fan, Jun Xiao·· 9 天前AI 评分27
MetaEncoder：用自然语言界面探索双编码器在多模态 System One 决策中的极限
MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface
AI 导读
MetaEncoder 将预训练的 Muse-Glimmer 30B 解码器微调为指令遵循的决策编码器，采用双编码器架构和单向对比学习实现请求与候选选项的对齐。该方法同时支持小于 256 的闭集候选和百万级开集候选，在 11 个基准套件、190 项任务上评测，覆盖多模态决策、理解与检索，并在推理密集型任务上暴露出当前局限。
正文 · AI 翻译
作者：Jianpeng Cheng、Guangyu Sun、Aashu Singh、Benyu Zhang、Haixing Dai、Hossein Mansour、Jiangfan Zhang、Shlok Kumar Mishra、Wei Sun、Xuanming Cui、Yanli Liu、Qi Guo、Max Xiangjun Fan、Jun Xiao
摘要：System One 模型输出的是受约束的决策和概率分布，而非自由形式的文本生成。尽管主流范式依赖结构化模式对象来编码状态、意图和候选选项，我们重新审视了一种完全基于自然语言的 System One 接口。在该框架中，用户请求和每个候选选项均以自然语言表达，并由多模态（图像和视频）辅助输入支持。我们提出 MetaEncoder，它将预训练的 Muse-Glimmer 30B 解码器微调为遵循指令的决策编码器。为了在小型闭集（< 256）和大规模开集（数百万）候选空间中都有效扩展，MetaEncoder 采用双编码器架构，通过单向对比学习进行请求-候选对齐训练。我们在 11 个基准套件和 190 项任务上进行了广泛评估，涵盖多模态决策、理解（闭集）和检索（开集），突出展示了 MetaEncoder 在哪些方面优于 SOTA 多模态编码器，以及它目前在推理密集型任务上的局限。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11316 [cs.CL] |
| （或 arXiv:2610.11316v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11316 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jianpeng Cheng J [查看电子邮件]
[v1]
2026年10月8日星期四 06:22:48 UTC（324 KB）
来源：arXiv cs.AI · arxiv.org