arXiv cs.AI· Yinghua Xu, Pengyang Xie, Yanxiang Zhou, Chuanzhi Tong, Xiao Xiao, Chaoqun Feng, Xiaoqing Wang·· 2 天前AI 评分23
CIM-Embed：面向聚类的指令条件多模态嵌入学习框架
CIM-Embed: Learning Instruction-Conditioned Multimodal Embeddings for Clustering
AI 导读
论文提出 CIM-Embed 框架，通过监督对比学习让模型将图像、文本与指令直接映射为嵌入向量，再由 HDBSCAN 在无需真实簇数的情况下完成聚类划分。
正文 · AI 翻译
摘要：多模态对象在不同指令下可能需要不同的划分，例如电商目录中的商品按颜色、材质或两者同时分组。面向检索的嵌入可能无法恢复这些划分，而生成式聚类往往依赖中间描述或迭代决策。本文提出 CIM-Embed，一个用于学习指令条件多模态嵌入以进行聚类的框架。监督对比学习使用同组正样本和来自其他组的负样本，可选地包含其他任务；异构结构化批次可容纳具有不同组数的任务。在推理时，模型将每个对象的图像、文本和指令直接映射为嵌入；随后 HDBSCAN 形成划分，无需真实簇数。我们基于 Amazon Reviews 2023 中的产品元数据构建了 ProductMIC，包含训练数据以及用于指令条件聚类的评估基准。该基准包含 5,373 个产品和 449 个单属性及组合分组任务，涵盖我们训练中排除的 50 个叶子类别。使用全维嵌入和 HDBSCAN，直接的组内 SupCon 训练实现了平均每任务 V-measure 95.01，而评估中最强的通用嵌入基线 WeMM 9B 为 53.06。冻结的产品训练编码器也改善了域外条件分组，而受控迁移实验区分了划分迁移与指令响应。我们将在论文被接收后发布代码和数据集。
| 评论： | 40 页，包括参考文献和附录 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21805 [cs.AI] |
| （或 arXiv:2610.21805v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21805 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pengyang Xie [查看邮箱]
[v1]
2026年10月15日星期四 12:54:17 UTC（658 KB）
来源：arXiv cs.AI · arxiv.org