arXiv cs.AI· Ziying Li, Shengchu Zhao, Huiang He, Yiyang Chen, Jianwen Huang, Bailin Li, Changhao Li, Jianhui Li, Jie Li, Ruiyang Liu, Yibo Luo, Tengjiao Sun, Pei Tang, Shiwen Wang, Jiaqi Wu, Kang Wu, Kaiqiao Yang, Zherui Yang, Hu Zhang, Xuezhi Zhao, Xinhe Zheng, Yukun Li, Heliang Zheng, Rongfei Jia·· 9 天前AI 评分37
Hi3D 3.0(Twinkle3D):面向特定物体的高分辨率 3D 资产生成
HI3D 3.0 (Twinkle3D): Object-specific 3D Asset Generation with High Resolution
AI 导读
Hi3D 3.0 图像到 3D 生成系统发布,其几何模型 Twinkle3D 可生成 2048³ 分辨率的封闭三角网格。Twinkle3D 通过重设计的 DiT 架构将扩散生成扩展至 30 万几何 token 序列,单步训练时间从约十分钟降至十秒,单阶段模型即超越此前带 512³ 精修的两阶段流程。
正文 · AI 翻译
作者:Ziying Li、Shengchu Zhao、Huiang He、Yiyang Chen、Jianwen Huang、Bailin Li、Changhao Li、Jianhui Li、Jie Li、Ruiyang Liu、Yibo Luo、Tengjiao Sun、Pei Tang、Shiwen Wang、Jiaqi Wu、Kang Wu、Kaiqiao Yang、Zherui Yang、Hu Zhang、Xuezhi Zhao、Xinhe Zheng、Yukun Li、Heliang Zheng、Rongfei Jia
摘要:图像到 3D 生成已越来越能够生成与输入图像高度相似的物体,而一个突出的挑战是复现所描绘的物体本身,包括定义它的特定几何结构。铭文、品牌标识和重复结构尽管对物体身份至关重要,却常常被扭曲或丢失。我们提出 Hi3D 3.0,一个面向物体特定保真度的图像到 3D 生成系统,其几何模型 Twinkle3D 可在 $2048^{3}$ 分辨率下生成水密三角网格。Twinkle3D 从四个维度推进高保真几何生成。第一,虽然 O-Voxel/FaithC 具有高表示精度,但往往表面质量差且几何非水密。我们在保留其 $2048^{3}$ 级精度的同时解决了这两个问题。第二,我们通过重新设计的 DiT 架构和大规模分布式训练优化,将扩散生成扩展到多达 300K 个几何 token 的序列,将每步训练时间从约十分钟缩短到十秒。第三,后续细化无法完全弥补初始生成阶段引入的误差;因此我们在初始生成阶段同时增强全局形状和局部细节,由此得到的单阶段模型超越了此前带有 $512^{3}$ 细化的两阶段流程。最后,我们引入一种细粒度图像-3D 跨模态交互机制,加强视觉证据与几何 token 之间的对应关系,改善物体特定结构的恢复。我们使用由轮廓和法线场导出的对齐指标来评估几何保真度。Hi3D 3.0 在所有报告的指标上均优于四个商业系统,以 98.2% 的精度恢复 82.1% 的铭刻字符,而最强竞争者的召回率为 21.7%。
| 评论: | Hi3D 3.0(Twinkle3D)技术报告 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.11685 [cs.CV] |
| (或 arXiv:2610.11685v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.11685 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Ziying Li [查看邮箱]
[v1]
2026 年 10 月 8 日星期四 10:57:06 UTC(24,015 KB)
来源:arXiv cs.AI · arxiv.org