arXiv cs.AI· Yuhan Li, Zhiyu Jin, Yifan Tong, Wenxiang Shang, Benlei Cui, Xuanhong Chen, Hangcheng Zhu, Bingbing Ni·· 3 天前AI 评分22
ShoeFit：面向虚拟鞋类试穿的新数据集与双图流 DiT 框架
ShoeFit: A New Dataset and Dual-image-stream DiT Framework for Virtual Footwear Try-On
AI 导读
研究团队提出虚拟鞋类试穿框架 ShoeFit，并发布多视角鞋类试穿数据集 MVShoes，包含 7305 组标注图像三元组。ShoeFit 采用双流 DiT 架构，通过带 3D 旋转位置嵌入的多视角条件注入缓解视角错位，并用 LayeredRefAttention 借助背景特征调制鞋类隐变量以抑制背景导致的颜色失真。该工作已被 NeurIPS 2025 接收。
正文 · AI 翻译
摘要：虚拟鞋类试穿（VFTON）是虚拟试穿（VTON）中一个关键但尚未被充分探索的领域，其目标是在给定多样化的鞋类和模特图像的情况下，合成逼真的试穿结果，同时保持 3D 一致性和纹理真实性。与传统的以服装为中心的 VTON 方法不同，VFTON 面临独特的挑战，原因在于：（1）数据稀缺，这源于将产品鞋与穿着同款鞋的模特完美匹配的困难；（2）视角错位，目标脚部姿态与源鞋视角总是错位，导致纹理信息不完整和细节失真；（3）背景引起的颜色失真，鞋类的复杂材质与环境光照相互作用，造成意外的颜色污染。为应对这些挑战，我们提出了 MVShoes，一个多视角鞋类试穿数据集，包含 7305 个标注良好的图像三元组，涵盖多样化的鞋类类别和具有挑战性的试穿场景。此外，我们提出了一种双流 DiT 架构 ShoeFit，旨在通过带有 3D 旋转位置嵌入的多视角条件来缓解视角错位，并利用 LayeredRefAttention 借助背景特征调制鞋类潜变量，从而减轻背景引起的失真。所提出的框架通过解耦的去噪和条件分支，有效地将鞋类外观与环境干扰解耦，同时保留高质量的纹理细节。大量定量和定性实验表明，我们的方法在具有挑战性的真实世界产品鞋上显著提高了渲染保真度和鲁棒性，在高保真鞋类试穿合成方面建立了新的基准。
| 评论： | 被 NeurIPS 2025 接收。项目网站：this https URL ，包括所提出的多视角鞋类试穿数据集 MVShoes-clean |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18325 [cs.CV] |
| （或 arXiv:2610.18325v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18325 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuhan Li [查看电子邮件]
[v1]
2026年10月13日星期二 13:03:29 UTC（29,656 KB）
来源：arXiv cs.AI · arxiv.org