跳到正文
arXiv cs.AI· Elly Akhoundi, Mathieu Lamarre, Thibault Goyallon, Patrick Anderson, \'Etienne Danvoye·· 4 小时前AI 评分38

FaceRiff:用几何条件实现数据高效统一的文本到 3D 人脸资产合成

FaceRiff: Data-Efficient Unified Text-to-3D Face Asset Synthesis via Geometric Conditioning

AI 导读

FaceRiff 提出一种统一、数据与参数高效的框架,可直接从文本在共享 UV 空间生成完整 3D 人脸资产(网格、albedo 与位移)。它基于预训练 SDXL 骨干,为每个任务加装 LoRA 适配器并以 UV 法线图作几何条件,仅用约 350 个身份的 2,049 次扫描、单 GPU 训练,每个任务更新不到 3% 的骨干参数,无需逐实例优化。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:具有一致 UV 映射几何、反照率和基于物理的位移的高分辨率人脸数据集十分稀缺,但此类资产对于照片级真实感的数字人渲染至关重要。现有的 3D 人脸生成方法往往速度慢、仅支持单一模态,或需要大型专用数据集。与此同时,大型图像扩散模型编码了强的人脸先验,但本身并不原生生成与光照无关的纹理、毛孔级位移或 UV 对齐的几何。我们提出 FaceRiff,一个统一、数据和参数高效的框架,可在共享 UV 空间中直接从文本生成完整的 3D 人脸资产(网格、反照率和位移)。FaceRiff 采用任务特定的 LoRA 适配器改造预训练的 SDXL 主干,并使用 UV 法线图作为几何条件:逐实例法线引导反照率和位移合成,而数据集平均法线为网格生成提供规范的空间锚点。仅使用来自约 350 个身份的 2,049 次扫描并在单块 GPU 上训练,FaceRiff 每个任务更新的主干参数不足 3%,且无需逐实例优化即可生成可直接渲染的 3D 人脸资产。与 FaceG2E 和 DreamFace 相比,FaceRiff 在保持提示对齐和固定拓扑 UV 一致性的同时,产生了更高的逐提示多样性,并且额外生成了适用于 PBR 重光照的与光照无关的反照率,以及此前文本驱动基线所缺失的毛孔级位移。一项由 45 位行业专业人士参与的盲测研究表明,FaceRiff 的感知真实感显著高于 DreamFace,接近真实采集。总体而言,FaceRiff 表明预训练扩散先验可在有限数据下适配于统一的 3D 人脸资产合成。
评论: 已被 SIGGRAPH Asia 2026 会议论文接收。11 页,11 幅图,2 张表
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);图形学(cs.GR)
ACM 分类: I.3.7;I.3.5;I.2.10
引用为: arXiv:2611.21867 [cs.CV]
  (或本版本引用为 arXiv:2611.21867v1 [cs.CV])
  https://doi.org/10.48550/arXiv.2611.21867

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Elly Akhoundi [查看邮箱]
[v1] 2026 年 11 月 16 日星期一 20:31:52 UTC(42,265 KB)

来源:arXiv cs.AI · arxiv.org