SIGGRAPH 2025 论文提出照片物理可控重打光方法，实现 Blender 式光照编辑
Physically Controllable Relighting of Photographs
Chris Careaga 与 Yağız Aksoy 在 SIGGRAPH 2025 发表的照片重打光方法，可像 CG 管线一样向场景中插入聚光灯、点光源或环境光照。该方法先用单目几何与本征分量估计构建彩色网格，在 3D 中设定光照后用路径追踪渲染，再经前馈神经渲染器输出照片级结果，并通过可微渲染实现自监督训练。
 |  |
Proc. SIGGRAPH, 2025
专利申请中
我们提出一种照片重打光方法，可像 CG 流程那样对光源进行显式控制。用户可以向场景中插入不同类型的光源，例如聚光灯、点光源或环境光照。我们在一个包含中级计算机视觉、基于物理的渲染和神经渲染的流程中实现这一点。我们引入一种使用可微渲染的自监督训练方法，用真实世界照片集合训练我们的神经渲染器，以实现野外泛化。
摘要
我们提出一种用于野外图像重打光的自监督方法，可实现完全可控、基于物理的光照编辑。 我们通过将传统渲染的物理准确性与神经渲染所能实现的照片级真实外观相结合来实现这一点。 我们的流程通过使用单目几何与内在分量估计推断给定场景的彩色网格表示来工作。 该表示允许用户在 3D 中定义其期望的光照配置。然后可以使用路径追踪引擎渲染新光照下的场景。 我们将该场景的近似渲染结果送入前馈神经渲染器，以预测最终的照片级真实重打光结果。 我们开发了一种可微渲染过程来重建野外场景光照，从而能够在原始图像集合上对我们的神经渲染器进行自监督训练。 我们的方法是将典型 3D 计算机图形工具（如 Blender）中可用的显式物理光照控制引入野外重打光的重要一步。
视频
论文
媒体发布
|
SFU 研究人员开发新工具，将类 Blender 光照控制带入任意照片 SFU 计算科学，2025 PetaPixel - 科学家创造出令人惊叹的工具，可在 3D 中逼真地为照片重打光
|
海报
BibTeX
@INPROCEEDINGS{careagaRelighting,
author={Chris Careaga and Ya\u{g}{\i}z Aksoy},
title={Physically Controllable Relighting of Photographs},
booktitle={Proc. SIGGRAPH},
year={2025},
}
许可
本工作中提出的方法受知识产权保护。有关许可机会的咨询，请联系 SFU 技术许可办公室 <tlo_dir ατ sfu δøτ ca> 和 Yağız Aksoy 博士 <yagiz ατ sfu δøτ ca>。
相关出版物
|
Chris Careaga 和 Yağız Aksoy
ACM Transactions on Graphics (Proc. SIGGRAPH Asia), 2024
本征图像分解旨在从单张照片中分离出表面反射率与光照的影响。 由于问题的复杂性，此前多数工作假设单色光照和朗伯世界，这限制了它们在光照感知图像编辑应用中的使用。 在本工作中，我们将输入图像分离为漫反射反照率、彩色漫反射着色和镜面残差分量。 我们通过逐步去除单色光照假设和朗伯世界假设来得到结果。 我们表明，通过将问题分解为更简单的子问题，尽管真实标注数据集有限，仍可实现野外彩色漫反射着色估计。 我们扩展的本征模型能够对照片进行光照感知分析，并可用于镜面高光去除和逐像素白平衡等图像编辑应用。
@ARTICLE{careagaColorful, |
|
Chris Careaga 和 Yağız Aksoy ACM Transactions on Graphics, 2023 本征分解是一个基础的中层视觉问题，在各种逆向渲染和计算摄影流程中起着至关重要的作用。 生成高精度的本征分解本质上是一个欠约束的任务，需要精确估计连续值的着色和反照率。 在本工作中，我们通过将问题分解为两部分来实现高分辨率本征分解。 首先，我们提出一种密集序数着色公式，使用平移和尺度不变的损失来估计序数着色线索，而不限制预测服从本征模型。 然后，我们使用第二个网络结合低分辨率和高分辨率序数估计，生成兼具全局一致性和局部细节的着色估计。 我们通过在估计的着色以及本征模型所隐含的反照率上计算损失，鼓励模型学习准确的分解。 我们开发了一种直接的方法，利用我们的模型预测和多光照数据生成密集伪真值，从而能够泛化到野外图像。 我们针对最先进方法对我们的预测本征分量进行了详尽的定性和定量分析。 最后，我们通过执行重着色和重打光等原本困难编辑任务，展示了我们估计结果在现实世界中的适用性。
@ARTICLE{careagaIntrinsic, |
|
Chris Careaga、S. Mahdi H. Miangoleh 和 Yağız Aksoy SIGGRAPH Asia, 2023 尽管基于网络的图像协调技术取得了显著进展，但典型训练对与推理时遇到的真实世界合成图像之间仍存在域差异。 大多数现有方法被训练用于逆转对分割图像区域所做的全局编辑，这些方法无法准确捕捉合成图像中前景与背景之间的光照不一致性。 在本工作中，我们提出了一种在固有图像域中表述的自监督光照协调方法。 首先，我们从中间视觉表示中估计一个简单的全局光照模型，以为前景区域生成粗略的阴影。 随后，网络对该推断出的阴影进行细化，以生成与背景场景相协调的和谐重阴影。 为了使前景和背景的颜色外观相匹配，我们借鉴了先前协调方法中的思想，在反照率域中执行参数化图像编辑。 为验证我们方法的有效性，我们展示了来自具有挑战性的真实世界合成图像的结果，并进行了一项用户研究，以客观衡量与最先进的协调方法相比所实现的真实感提升。
@INPROCEEDINGS{careagaCompositing, |
来源：Hacker News · yaksoy.github.io