arXiv cs.AI· Yuanzhi Wang, Xuhua Ren, Jiaxiang Cheng, Bing Ma, Kai Yu, Sen Liang, Wenyue Li, Tianxiang Zheng, Qinglin Lu, Zhen Cui·· 11 小时前AI 评分29
FaithfulFaces：面向文本生成视频的姿态保真人脸身份保持框架
FaithfulFaces: Pose-Faithful Facial Identity Preservation for Text-to-Video Generation
AI 导读
FaithfulFaces 提出姿态共享身份对齐器，通过姿态共享字典与姿态变化-身份不变性约束，将单视角输入映射为带显式 Euler 角嵌入的全局人脸姿态表示，缓解大姿态变化和遮挡下的身份失真。团队还构建了人脸姿态多样性高的高质量视频数据集，实验显示其在身份一致性和结构清晰度上达到 SOTA，论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：身份保持的文本到视频生成（IPT2V）使用户能够生成具有一致人脸身份的多样化且富有想象力的视频。尽管近期取得了进展，现有方法在面部姿态大幅变化或面部遮挡的情况下往往会出现显著的身份失真。本文提出 FaithfulFaces，一种姿态忠实的面部身份保持学习框架，用于改进复杂动态场景下的 IPT2V。FaithfulFaces 的关键是一个姿态共享身份对齐器，它通过姿态共享字典和姿态变化-身份不变性约束，在不同视角之间细化并对齐面部姿态。通过将单视角输入映射为带有显式欧拉角嵌入的全局面部姿态表示，FaithfulFaces 提供了姿态忠实的面部先验，引导生成基础模型实现稳健的身份保持生成。特别地，我们开发了一套专门的流程来整理一个高质量视频数据集，该数据集具有丰富的面部姿态多样性。大量实验表明，FaithfulFaces 达到了最先进的性能，即使在姿态变化和遮挡发生时，也能保持卓越的身份一致性和结构清晰度。项目主页：this https URL
| Comments: | 被 NeurIPS 2026 接收 |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| Cite as: | arXiv:2605.04702 [cs.CV] |
| （或 arXiv:2605.04702v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.04702 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuanzhi Wang [查看邮箱]
[v1]
2026年5月6日星期三 09:54:09 UTC（17,129 KB）
[v2]
2026年10月16日星期五 17:56:38 UTC（17,139 KB）
来源：arXiv cs.AI · arxiv.org