arXiv cs.AI· Karina Kvanchiani, Timur Mamedov·· 10 小时前AI 评分18
分析基于图像与基于文本的行人重识别之间的优化冲突
Analyzing the Optimization Conflict Between Image- and Text-Based Person Re-Identification
AI 导读
将基于图像（I2I）与基于文本（T2I）的行人重识别统一到单一模型时，两者训练目标存在根本冲突：I2I 要求同一身份的图像嵌入相互靠近，T2I 则要求保留与独特视觉特征绑定的实例级差异，共享视觉编码器上二者对同一嵌入提出相反要求。
正文 · AI 翻译
摘要：在单一模型中统一基于图像（I2I）和基于文本（T2I）的行人重识别（ReID）之所以复杂，是因为二者的训练目标之间存在根本性冲突。I2I ReID 关注同一行人被多台摄像机拍摄的图像之间的身份级不变性，而 T2I ReID 则由与独特视觉特征相关联的实例特定文本描述驱动。当这两个目标在共享视觉编码器上优化时，它们会对同一嵌入施加相反的要求——I2I 压缩同一身份内的距离，而 T2I 要求这些距离得以保留——因此提升一个任务的表征会主动损害另一个任务。本文分析了这一优化冲突，并通过实验表明，单一无约束编码器无法同时满足这两个目标。受此发现启发，我们通过一个受控的两阶段流程来研究该冲突：首先训练共享视觉编码器以获得 I2I 不变性，然后将其冻结，仅对齐文本编码器到固定的视觉空间，从而防止 T2I 目标破坏已学到的身份级结构。我们在多种配置下进行了大量实验，改变域混合流程、学习策略和任务目标。我们观察到，I2I 预训练能提升后续 T2I 性能，而在此预训练期间引入文本监督能进一步提升 T2I 性能，尽管在后续跨模态训练中视觉编码器处于冻结状态。我们相信这些见解为统一 ReID 系统迈出了有意义的一步，该系统能在单一表征中协调身份级和实例级监督。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.02242 [cs.CV] |
| （或本版本的 arXiv:2606.02242v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2606.02242 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Timur Mamedov [查看邮箱]
[v1]
2026年6月1日 周一 13:37:55 UTC（1,355 KB）
[v2]
2026年10月30日 周五 15:42:19 UTC（9,281 KB）
来源：arXiv cs.AI · arxiv.org