跳到正文
Hacker News· bhouston·· 1 天前AI 评分28

让 Three.js 原生画质比肩 AAA 游戏引擎的探索进展

My Quest to push native Three.js quality match AAA Game Engines

AI 导读

一位开发者发布进展报告,逐阶段对照 AAA 游戏引擎需求盘点 Three.js 渲染管线现状:G-buffer、动态 GI、SSR、SSGI、反射探针、TRAA/TAAU 等多数环节已落地、在审或已有草案,最大缺口集中在 SSR 的 Hi-Z tracing 与 coverage、SSGI 的 coverage,以及把两级级联接入 BRDF 的可插拔间接光照。

正文 · AI 翻译

本文是进度报告:将第 2 部分推荐的管线与 Three.js 逐阶段进行对比。

它沿用第 1 部分中的光照术语:间接漫反射与镜面反射、光源、覆盖度、SSR 和 SSGI。此外还新增五个术语:

  • BRDF:材质的着色函数:表面如何将入射光转化为你所看到的光。
  • G-buffer:可见表面的逐像素图像(深度、法线、粗糙度),供屏幕空间效果读取。
  • TRAA:时域抗锯齿;每一帧都会与重投影后的历史帧进行混合。
  • TAAU:带升采样的时域抗锯齿;累积方式相同,但场景以低于输出分辨率渲染,历史缓冲则保持在输出分辨率。
  • PMREM:针对每个粗糙度级别预先模糊的环境贴图,Three.js 正是以此从立方体贴图进行光照。

管线#

管线分为两部分。设置阶段填充三个缓存:静态网格的烘焙光照贴图、移动物体的光照探针网格,以及每个房间的反射探针。

Pipeline setup, three caches filled on load or at authoring time. Lightmaps take four steps: UV2 unwrap, bake with ray radiosity, denoise, then stitch seams. The light probe grid is a single bake that captures each probe and projects it to L2 spherical harmonics. Reflection probes take three: capture HDR cubemaps, GGX prefilter, then pack into a cube array with influence boxes. Seam stitching and the cube array packing are in review; the rest is in Three.js.

设置阶段:三个缓存。光照贴图工作量最大,探针网格只需一次烘焙。实心步骤已在 Three.js 中实现;着色步骤正在审核中。

随后每一帧读取这些缓存,并在其之上叠加屏幕空间处理:

One frame of the pipeline: a G-buffer prepass, a Hi-Z build feeding an SSR trace, an SSGI trace beside it that reads the G-buffer directly and also returns occlusion and bent normals, their denoise, then a forward beauty pass that reads both coverage cascades and three cached inputs, lightmaps, the light probe grid and reflection probes, then TRAA or TAAU, with the resolved output fed back into the next frame's screen-space traces. The Hi-Z build and the beauty pass that reads both cascades are still to build; the SSR and SSGI trace and their denoise are partly there; the rest is in Three.js.

管线的一帧。实心阶段已在 Three.js 中实现,着色阶段正在审核或部分完成,描边阶段仍待构建。TRAA 的输出,或在升采样时 TAAU 的输出,会作为下一帧 SSR 和 SSGI 的输入。

当前进展#

以下是各阶段与游戏需求的对比。每一行都在下文对应章节中详细说明:

阶段Three.js 中已有审核中或已起草仍待构建
G-bufferMRT 预通道八面体法线
烘焙 GIlightMap、展开器、烘焙器、光线辐射度、降噪器、HDR JPEG XL接缝缝合、KHR_lightmap(草案)glTF JPEG XL 与 UltraHDR 扩展、运行时 BC6H
动态 GILightProbeGrid、烘焙速度提升 8 倍、多次反弹、更新分摊到多帧DDGI 可见性(草案)—
环境光遮蔽GTAO、builtinAOContext、来自 SSGINode 的 AO弯曲法线与 GTSO(草案)、联合双边升采样(草案)来自 SSGINode 的弯曲法线
SSR随机 GGX SSR、时域累积、多次反弹上一帧追踪Hi-Z 追踪、覆盖度输出、时空 SSR 降噪器
SSGISSGINode、来自一次地平线搜索的反弹光与 AO,合成到最终图像上上一帧追踪(草案)覆盖度输出、BRDF 的漫反射光源
反射探针单盒投影环境贴图、PMREM探针系统(草案)、立方体数组探针归一化、128² 预滤波
BRDF 积分AO 上下文、环境回退—可插拔的间接镜面与漫反射、覆盖度级联
TRAA 与 TAAUTRAA 节点、TAAU 节点Catmull-Rom 历史(草案)、静止时更宽的裁剪与测试框架(草案)完整管线中的 TAAU、纹理 mip 偏移、移植到 TAAU 的 TRAA 改进

剩余的最大差距在 SSR、SSGI 和 BRDF 这几行:SSR 的 Hi-Z 追踪与覆盖度、SSGI 的同样覆盖度,以及最重要的——将两个级联接入 BRDF 的可插拔间接光照。其余部分均已在 Three.js 中实现、正在审核或已起草。

它之所以进展如此之快,要归功于 Three.js 的维护者们。Michael Herzog(@Mugen87)审阅了其中大部分 PR,并且不止一次地将某个 PR 重新改造成更契合 Three.js 整体构建方式的设计,调整渲染器内部结构为其腾出空间。mrdoob 对其中许多 PR 表达了强烈支持。我非常幸运能同时拥有他们两位。

不过到目前为止,这些部分都是逐个提出、逐个审阅的,各自依据自身的优点。没有人被要求为整体方案背书。这一系列文章是我尝试将它们整合成一幅连贯图景的努力,以便每个 PR 既能按其功能、也能按其定位来评判。

管线,逐阶段#

本文的剩余部分将逐阶段走完一帧。对每个阶段,都会提出三个问题:游戏需要什么、Three.js 已经有什么,以及还缺什么。第三个问题的答案正是工作所在。

G-buffer#

游戏需要什么。SSR、GTAO 和降噪器都在光照之前于屏幕空间运行,因此它们需要逐像素描述可见表面:一个 G-buffer。延迟渲染引擎会存储光照所需的一切,包括基础色和自发光,因为它的光照通道只读取 G-buffer。像 Three.js 这样的前向渲染器在这方面有优势:主渲染通道直接对每个材质着色,因此 G-buffer 只需包含屏幕空间通道所读取的内容。

值最低位数读取方
深度24一切;Hi-Z 金字塔的来源
法线2×12(八面体)SSR 光线方向、GTAO、降噪器
粗糙度8(感知)SSR 波瓣与粗糙度衰减、降噪器核大小
金属度1–8非金属上的 SSR 衰减
材质标志2–8在天空、水、透明物体上屏蔽 SSR
运动矢量2×16TRAA、SSR 命中重投影、降噪器历史

基础色、自发光和材质 AO 贴图不在列表中:主渲染通道直接从材质读取它们。

Three.js 有什么。WebGPURenderer 已经能用多渲染目标渲染 G-buffer 预通道,SSR 示例目前就在使用它。法线被打包进 RGB8,粗糙度放在 alpha 中,基础色与金属度放在第二个 RGBA8 目标中,速度放在第三个目标中:

const scenePass = pass( scene, camera );
scenePass.setMRT( mrt( {
	output: output,
	diffuseColor: vec4( diffuseColor.rgb, materialMetalness ),
	normal: vec4( packNormalToRGB( normalView ).rgb, materialRoughness ),
	velocity: velocity
} ) );

所以机制是存在的。差距在于布局和法线精度。

G-buffer 结构与内存#

一个覆盖上表的布局,使用三个渲染目标加深度:

目标格式字节/像素内容
深度D32F,反转 Z4深度
法线RG16 snorm(RG16F 回退)4八面体法线
材质RGBA84粗糙度、金属度、标志、备用
运动RG16F4屏幕空间速度
总计16

按 AAA 标准,每像素十六字节算是精简的。延迟渲染引擎通常花费 20–28 字节,因为它们还存储基础色、自发光和烘焙光照。

不过,G-buffer 并不是唯一与屏幕等大的内存。帧的其余部分还包括一个半浮点 beauty 目标(8 B)、TRAA 历史与输出(16 B)、用于重投影的上一帧深度(4 B)、SSR 的 Hi-Z 金字塔(含 mip 约 5 B)、半分辨率 SSR 工作集(6 B)、半分辨率 SSGI 工作集(其中也包含遮蔽信息,加上它读取的重投影上一帧,合计约 5.5 B),以及场景分辨率的上采样 SSR 和 SSGI 结果(合计 15 B)。在所有效果全开时,这使规划预算达到约 每像素 76 字节:1920×1080 下约 157 MB,4K 下约 626 MB。第 2 部分 给出了这些数字背后的计算器链接,并附有 TAAU 和较低档位的示例。这些是针对所提议的级联和简单滤波器的估算,并非当前附加组件实测的分配量。上采样目标也计入这份清单。半分辨率效果仍然需要深度和法线感知的上采样,以免反射和遮蔽在物体边缘处渗漏。我已将该滤波器起草为 jointBilateralUpsample();更多内容见下文遮蔽部分。

法线精度#

Three.js 目前存储得过于粗糙的一个字段是法线。SSR 对法线误差毫不宽容:从稍有偏差的法线反射出的光线,在长距离追踪的终点会落在明显错误的位置。使用 RGB8 法线时,光滑曲面会吸附到有限的一组量化方向上,其反射会出现条带和结块。

AAA 级 G-buffer 用 八面体编码 解决这个问题:将方向球面折叠到一个八面体上,再展开成正方形,存储两个坐标。在 Cigolle 等人调研的 编码中,它是同等大小下最精确的。我们已在 PR #35480 中向 Three.js 添加了 packNormalToOctahedral() 和 unpackOctahedralToNormal():

编码(4 字节 / 像素)平均误差最大误差可用性
RGB8(当前)0.17°0.38°所有平台
八面体 RG16F0.011°0.040°WebGPU 中所有平台
八面体 RG16 snorm0.0013°0.0037°93% 的 WebGPU 设备

在同样的四字节下,半浮点精度高出十五倍,snorm 则高出上百倍。目标是 RG16 snorm,RG16F 作为回退。

Reflections on a glossy surface with RGB8 normals on the left, showing banding, and octahedral RG16F normals on the right, smooth

从 RGB8 法线追踪的反射(左)出现条带;八面体 RG16F 法线(右)平滑。

Angular normal error at 0.25° full scale: RGB8 on the left shows error everywhere, octahedral RG16F on the right is near zero

存储法线的角度误差:RGB8(左)与八面体 RG16F(右),同一比例尺。

全局光照#

游戏所需。 来自 该调研:

  • 为所有不移动的物体将反弹光烘焙进光照贴图。
  • 用探针体积为动态物体提供光照,理想情况下不会穿墙漏光。

光照贴图。 运行时部分已在 Three.js 中存在多年:每个标准材质都接受一个 lightMap,从第二套 UV 读取。缺失的是制作光照贴图所需的一切:展开器、烘焙器、值得使用的求解器,以及存储和分发结果的方式。这些现在共同构成了一条在浏览器中运行的完整烘焙管线。这个主题足够大,因此有专门的帖子,第 4 部分:为 Three.js 添加稳健的光照烘焙。

光照探针。 对于动态物体,LightProbeGrid 在场景中放置一个探针网格,每个探针以 L2 球谐函数存储入射光,并用周围的探针为每个物体提供光照(示例)。效果很好;限制在于一次捕获需要多长时间。

Sponza lit by the Three.js light probe grid

由 LightProbeGrid 照亮的 Sponza。

探测捕获速度。批量探测捕获让LightProbeGrid快了四倍,之后的改动又在此基础上翻了一倍:现在它的烘焙速度约为九月初的八倍,并支持多次反弹光照。性能分析显示,烘焙的瓶颈在于 CPU 提交渲染通道,而非 GPU,因此批量捕获使用一台阵列相机每通道渲染八个探测:分辨率 12 的网格从 5.6 秒降至 1.2 秒。精确积分球谐函数还将其误差从 2.4% 降至 0.08%。第二次翻倍则来自针对每个绘制调用按其自身的子相机进行剔除。

探测泄漏。墙一侧的探测会照亮另一侧的物体,于是暗房间会被隔壁明亮房间的光照亮。DDGI 的解决方法是:为每个探测存储各个方向上到最近表面的距离,并忽略那些看不到被照亮点的探测。为LightProbeGrid实现的DDGI 式可见性加权以草稿 PR 的形式工作。对周围全部八个探测逐一测试可见性,逐像素开销很大,因此草稿可以改用四面体插值,只混合四个探测。在 Sponza 上,这使渲染时间增加约 10%,而八个探测则增加 30%。

Two adjacent rooms lit by the light probe grid with visibility weighting, one warm and one blue, with no light leaking through the wall between them

探测可见性加权:暖色房间和蓝色房间不再透过墙壁互相照亮。

环境光与镜面遮蔽#

游戏的需求。光照贴图对于接触阴影来说太粗糙,而且对动态物体一无所知。游戏会在其上叠加屏幕空间遮蔽,Activision 的 GTAO 是标准做法。它还会生成弯曲法线,即平均开放方向,由此得到镜面遮蔽(GTSO):指向表面褶皱内部的反射会被遮蔽,指向开口外部的则不会。

GTAO 通过在深度缓冲区中搜索每个像素周围的地平线来找到遮蔽。基于地平线的 SSGI(Three.js 所采用的方法)执行同样的搜索,并沿途收集找到的光照,因此一次通道即可返回两者。所以管线从不并行运行这两者:开启 SSGI 时,其通道提供遮蔽和弯曲法线,只有在 SSGI 关闭时 GTAO 才单独运行。

遮蔽应用于哪种光照,与它如何计算同样重要。在此管线中,遮蔽不是任一级联的步骤。它是一个共享缓冲区,像现在一样用builtinAOContext设置,需要它的来源读取它并压暗自身的计算结果:

  • 光照贴图、探测网格和环境将 AO 应用于其间接漫反射,并与材质的 AO 贴图按min( materialAO, gtao )组合。
  • 反射探测和环境将 GTSO 应用于其间接镜面反射。
  • SSR 和 SSGI 两者都不应用。屏幕空间命中是光线实际找到的东西,因此它已经被正确遮蔽。
  • 在 SSGI 之后,漫反射来源跳过 AO。SSGI 的覆盖范围是半球中被屏幕上某物遮挡的份额,这本身就是遮蔽。级联已经按1 − coverage缩放光照贴图或探测网格,因此再应用 AO 会使它们被压暗两次。
  • 直接光照不受影响,因为它有阴影。

级联从未看到这些;它们仅按覆盖率组合颜色,别无其他。一个源必须遵循的唯一规则是:遮挡会使其颜色变暗,但绝不会改变其覆盖率。被遮挡的探针仍然会响应像素,只是更暗;相反,如果降低其覆盖率,就会让下一个源未被遮挡的光泄漏到角落。

对光照贴图表面应用 AO 会使其略微变暗两次,因为烘焙已经包含了静态自遮挡。我们仍然这样做,因为动态对象仍然需要遮挡静态对象。

Three.js 已有的功能。 GTAO 已经存在,并且它已经为光照提供输入,而不是在最终图像上相乘。AO 示例 渲染一个预通道,在其上运行 GTAO,并通过光照上下文将结果传递给最终渲染通道:

const aoPass = ao( prePassDepth, prePassNormal, camera );
scenePass.contextNode = builtinAOContext( aoPass.getTextureNode().sample( screenUV ).r );

这正是管线其余部分所需的模式,并且在下文中再次重要。

差距。 有三个。

  • 镜面遮挡。 目前 GTAO 输出单个可见性值,物理光照模型根据视角和粗糙度用启发式方法将其转换为镜面遮挡。它不知道哪些方向被阻挡,因此金属在褶皱内部仍然反射天空。弯曲法线和 GTSO 已作为草稿 PR 提交。弯曲法线来自相同的水平搜索,无需额外的深度采样;代价是 AO 目标从每像素一个字节增长到四个字节。

  • 边缘感知上采样。 半分辨率 GTAO 使用双线性滤波器上采样会在对象周围留下暗色轮廓,因为来自后方表面的遮挡会越过每个轮廓渗漏。jointBilateralUpsample() 使用全分辨率深度和法线作为引导进行上采样(Kopf 等,2007),因此结果在边缘处停止。它已起草但尚未提交,AO 示例是其第一个用户;半分辨率 SSR 需要相同的滤波器。

  • 来自 SSGINode 的弯曲法线。 草稿将弯曲法线添加到 GTAONode。SSGINode 需要相同的输出,取自其搜索发现开放的方向,以便在 SSGI 开启时镜面遮挡不需要第二个通道。

A gold bust lit by an environment map: with GTAO and GTSO, folds and cavities stop reflecting the sky; with GTAO and a scalar specular occlusion, they still glow

使用 GTSO(左),褶皱和空腔不再反射天空。使用标量镜面遮挡(右),它们仍然发光。

反射:屏幕空间反射#

游戏的要求。 从 DOOM、Frostbite 和其他游戏来看,级联中的 SSR 必须:

  1. 在任何距离上高效追踪,使用 Hi-Z 深度金字塔。
  2. 输出覆盖率,以便探针可以填补遗漏的部分。
  3. 追踪上一帧的照明图像,以便其结果可以馈入当前帧的光照。
  4. 在空间和时间上降噪,以便每像素一条光线就足够。

Three.js 曾经的功能。 在九月,Three.js 的 SSR 是为不同的任务构建的:在紧凑场景中,在完成的图像上添加反射。它采样很少,因此粗糙表面有噪点。它被合成到图像上,因此没有经过 BRDF。而且它的光线在固定距离处停止,因此远处任何物体的反射都缺失。

此后大部分情况已经改变。SSRNode 现在对完整的 GGX 波瓣进行重要性采样,并使用正确的菲涅尔,验证并细化其命中结果,还使用 Houston Stratified Noise(又称 HHW(Hierarchical Hashed Weyl)噪声)替代蓝噪声纹理。其结果会被重投影并随时间累积,再反馈回去,使反射中能看到反射。

它尚未做到的是融入级联。以下是 SSR 示例将其与场景结合的方式:

const litColor = scenePassColor.rgb.add( denoisedReflections.rgb );

先渲染 beauty pass,SSR 追踪同一张图像,然后将反射叠加在其上。上述每一项要求都是与此之间的差距。

Hi-Z 追踪。SSRNode 目前以最多 64 步在深度缓冲区中步进,最远到 maxDistance,并用 thickness 容差判定命中。长射线开销大,且这两个值都需要按场景调优。Hi-Z 金字塔是一种 mip 链,其中每个 texel 存储其下方四个 texel 的最小深度。射线在粗层级上以大步长穿过空白区域,仅在表面附近使用细步长,因此开销随射线长度的对数增长。这样每条射线都可以延伸到屏幕允许的最远处,无需调优最大距离。在金字塔中同时存储最小和最大深度也有助于厚度测试:单一深度层无法判断射线是穿过物体后方还是进入物体内部,而额外的边界缩小了这种歧义。该技术来自 Uludag 的 Hi-Z Screen-Space Cone-Traced Reflections(GPU Pro 5),建立在 McGuire 和 Mara 的屏幕空间射线步进之上。Frostbite(用于光滑表面)、AMD 的 FidelityFX SSSR 和 Killing Floor 2 都使用了它。一个初步原型在 48 个 GPU 测试用例上与线性步进逐位一致,但尚未成为净收益:遍历最多节省约 7%,而构建金字塔的开销超过这一收益。在 GTX 1050 上,一个测试场景从 199 fps 降至 159 fps,另一个从 126 降至 97。下一步是更廉价的金字塔构建,像 AMD 的 SPD 那样在单次 compute dispatch 中完成,并与遍历一起测量。

A 1D cross-section of Hi-Z ray marching: coarse mip levels let a reflected ray cross empty space in a few large steps, descending to finer levels near the surface it hits

Hi-Z 射线步进:在空白区域大步前进,在表面附近小步前进。

覆盖。目前,未命中的射线会在 SSR 内部自行采样环境贴图:一个作为 environmentNode 传入的等距柱状纹理,它不可能是经 PMREM 过滤的 scene.environment,更不用说局部探针了。在图像上叠加 SSR 还会将环境反射计算两次:一次在 beauty pass 中,一次在 SSR 自身的回退中。在级联中,SSR 应改为输出其反射和覆盖度(在屏幕边缘、掠射角、薄几何体后方以及非常粗糙的表面上降低),其余交给探针。我们已对此做了原型;它将与下面的 BRDF 积分一起落地。

追踪上一帧。SSR 在读取光照输出时无法成为光照的一部分。DOOM 的答案是追踪当前深度缓冲区,但从上一帧读取颜色:将每个命中点重投影到上一帧的 TRAA 输出中并在那里采样。上一帧的图像已经包含了上一帧的反射,因此面对镜子的镜子每帧都会增加一次反弹。上一帧追踪正在审查中。

有两条规则维持着这个循环的健康运转。第一,图像 SSR 读取的必须是线性 HDR 辐射度,取自 TRAA 之后、色调映射、泛光和其他后处理之前;否则反射会拾取到色调映射后的颜色和泛光光晕。第二,反馈的辐射度必须被钳制。每一帧的反射会成为下一帧的输入,因此单个萤火虫噪点或降噪器中轻微的能量增益会逐帧累积,而不是逐渐消退。

Reflections only, with SSR multi-bounce feedback off and then restored: the restored version shows reflections inside reflections

仅限反射。借助上一帧反馈,反射会出现在反射之中。

降噪。粗糙反射需要每像素不止一条光线的信息量,而 Three.js 目前还没有专为 SSR 设计的时空降噪器。Frostbite 的是范本:复用相邻像素的光线,按每个像素自身的 BRDF 加权,然后随时间累积,并按照反射命中点的运动而非表面的运动来重投影历史,因为反射的运动方式与显示它们的表面不同。zalo 正在做这件事。他基于 SVGF 的 DenoiseNode 已经合并,但 SSR 示例在针对反射重做期间退回了之前的降噪器。下一次尝试将用调试工具来评判。其中一部分已经做了原型:解调,它在滤波前把表面颜色从信号中除去,之后再乘回去,这样降噪器模糊的是光照而不是纹理细节。

A split view of a checkered sphere on a checkered floor: on the left, denoising without demodulation blurs the texture away; on the right, with demodulation, the checker pattern stays sharp

相同的噪声信号和相同的滤波器,未解调(左)与解调后(右)。

屏幕空间全局光照#

SSGI 是 SSR 的漫反射对应物。它添加了烘焙无法知晓的反弹光,复用了 SSR 所需的几乎一切,并且只要开启就会取代 GTAO。

游戏的要求。将 SSGI 作为光照一部分的引擎会把它放在烘焙光照之前,作为级联的第一阶段,如第 1 部分所述。这意味着 SSGI 必须:

  1. 输出覆盖率:它在屏幕上找到表面的半球占比。其余部分则落到光照贴图或探针网格上。
  2. 追踪上一帧的受光图像,使其结果能馈入当前帧的光照,并让反弹光每帧获得一次反弹。
  3. 随时间累积,以半分辨率进行,并使用与 SSR 相同的边缘感知上采样。

Three.js 有什么。SSGINode 已经存在,基于 SSRT3 的可见性位掩码方法构建,该方法扩展了 GTAO 的地平线搜索,使其既能收集光照也能收集遮蔽。对于每个像素,它沿半球的一个切片向外步进,标记该切片中哪些扇区被深度缓冲遮挡,并收集遮挡它们的任何物体的颜色。默认一次 24 个深度采样的搜索会生成一张 GI 纹理和一张 AO 纹理,并且比单条随机光线噪声小得多,因为每个采样都涵盖了一整段方向弧。这就是为什么此管线为其分配一份时间历史而不设单独的空間滤波器。SSGI 示例追踪当前帧的 beauty pass 并在其上合成:

const composite = vec4( scenePassColor.rgb.mul( ao ).add( scenePassDiffuse.rgb.mul( gi.rgb ) ), scenePassColor.a );

差距。与 SSR 的相同,原因也相同。

  • 覆盖输出。搜索标记为受阻的扇区,正是它找到表面的方向,因此覆盖是 1 − ao,而节点已经计算出了它。缺失的是把 GI 和该覆盖作为一对交给级联。没有这一点,SSGI 只能叠加在烘焙反弹之上,这会将其计算两次,且无法替代它。
  • 上一帧追踪。读取当前帧的 beauty pass 会迫使 SSGI 在其之后作为合成运行。为 SSR 添加的上一帧追踪在此适用相同规则:色调映射前的线性 HDR,并进行钳制。有一点不同。SSR 每像素读取上一帧一次,即其光线落点处,而 SSGI 在找到表面的每个采样处读取它,因此每次读取时的重投影每像素要付出多次代价。一份草稿在 Apple M3 上测量了它:按相机运动对每个采样重投影会消耗 14–22% 的帧率,而按逐像素速度(也会跟随移动物体)则消耗 32–44%。因此,上一帧改为按速度重投影一次,进入与当前帧对齐的半分辨率缓冲区,搜索直接读取该缓冲区。其运行帧率与追踪当前帧相同,测试场景中没有可见伪影。
  • 一个漫反射源。一旦两者齐备,SSGINode就成为下文所述漫反射列表中的第一项,材质无需更改。

反射:局部探针与级联#

游戏需要什么。Three.js 成长于渲染漂浮在空间中的单个物体,由一个环境贴图照亮,在这方面它非常出色。在室内,一个环境贴图就是错的:从红色房间走进蓝色走廊,地板应该反射红色,然后是蓝色,而不是天空。

调查中的每个游戏,以及 Unreal 的反射捕获,都用局部反射探针解决这个问题:在每个房间内捕获 cubemap,每个都带有一个描述其影响体积的盒子。在其盒子内,探针是盒投影的:反射光线首先与房间的盒子相交,然后朝该命中点采样 cubemap,而不是沿原始光线采样。这一步消除了 cubemap 的大部分视差误差,因此当你走动时,远墙的反射会留在地板上(Lagarde 的文章是经典解释)。在盒子重叠处,探针会混合,而它们之外的天空只是最外层的探针:一个具有无限盒子且无盒投影的探针。

Three.js 有什么。原料都在。CubeCamera 捕获 cubemap,PMREMGenerator 为其按粗糙度预过滤,getParallaxCorrectNormal() 对其进行盒投影,如盒投影环境贴图示例所示。但那是每个材质一个探针,手动设置。没有场景中一组探针、影响体积或它们之间混合的概念。

差距,以及我们如何填补。

  • 探针系统。WebGPURenderer 的盒投影反射探针添加了带影响盒和混合的场景级探针,并已作为草稿 PR 提交。
  • 快速访问多个探针。每个探针绑定一个 cubemap 无法扩展。立方体数组纹理将所有探针放入一个纹理;对它们的采样已合并,纹理类正在审查中。
  • 探针归一化。探针是在房间中的某一点捕获的,因此它在被使用的任何位置都会看到该房间明亮、开阔的视图。于是,黑暗的角落或橱柜内部会反射出一个被照亮的房间。使命召唤的修复方案在 Black Ops II 中引入,并延续到 Infinite Warfare,其做法是按像素处的漫反射光照与探针处的漫反射光照之比来缩放探针的反射。光照贴图和探针网格已经提供了这两者,因此几乎不产生额外开销。这确实意味着反射探针需要看到像素处的漫反射结果,而可插拔设计允许这样做。这仍有待完成。
  • 小型探针。PMREMGenerator 的最小尺寸为 256²。对于模糊的房间反射,128² 的探针已经足够,因为其前方的 SSR 会处理锐利的反射,而且它只占用四分之一的显存。在 128² 下进行预过滤仍有待完成。

Two connected rooms in Three.js lit by three box-projected reflection probes

两个相连的房间,各自反射自己的墙壁,来自三个盒投影探针。

BRDF 中的间接光照#

游戏的要求。级联只有在反弹光穿过材质的 BRDF 时才有效,因此菲涅尔、粗糙度和金属度对它完全适用,就像对直接光照一样。在前向渲染器中,这意味着美颜通道需要两个输入:

  • 间接漫反射:在有覆盖的地方使用 SSGI;然后在静态网格上使用光照贴图;在其他所有地方使用探针网格,并按覆盖范围回退到网格体积之外的环境贴图。
  • 间接镜面反射:SSR,按覆盖范围回退到盒投影探针,再回退到环境贴图。

需要遮挡的光源会自行应用遮挡,如上所述。

然后两者与直接光照一起经过通常的拆分求和近似(Karis 2013)。

不同引擎在何处执行此操作上有所不同。像 Unreal 这样的延迟引擎在填充 G-buffer 时采样光照贴图,并在单独的全屏通道中合成反射。Three.js 采用前向渲染,因此自然契合的做法是在美颜通道之前计算所有屏幕空间内容——SSR、SSGI 和 AO——并让每个材质在着色时读取它。追踪上一帧正是使这一顺序成为可能的原因。

Three.js 现有的能力。间接漫反射基本已经就位:lightMap、LightProbeGrid 和 scene.environment 都会为其提供输入,而 AO 已经通过 builtinAOContext 到达它。间接镜面反射仅来自 scene.environment,或材质自身的 envMap。

差距。这是最大的缺失部分。目前无法将屏幕空间结果或光源级联插入材质的间接镜面反射,就像 AO 被插入其漫反射那样。我们想要的是 AO 模式,扩展到两个项,并以当前的环境贴图作为不变的默认值。提议的设计见Pluggable Indirect Lighting for Three.js。

TRAA 和 TAAU 闭合循环#

游戏的要求。时间抗锯齿在每个现代引擎中都是标准配置。在这里它承担双重职责:其输出是下一帧 SSR 的输入,因此它必须在运动下保持锐利,并且不得将鬼影或萤火虫反馈回反射中。

Three.js 现有的能力。一个良好的 TRAA 节点,具有 Halton 抖动、运动矢量重投影和历史方差裁剪。

TRAA 状态良好,没有重大差距阻碍。仍有两项改进:

  • 更锐利的历史。 用双线性滤波器采样的历史,在相机每移动一帧时都会更模糊一点。Catmull-Rom 历史采样(一个草稿 PR)能让它保持锐利。
  • 静止时更宽的裁剪。 方差裁剪是阻止重影的手段:它会拒绝不再匹配当前帧的历史。但它也会拒绝掉好的历史。TRAA 已经在快速运动时把裁剪盒收紧到 0.5σ,但在静止时裁剪盒是 1σ,紧到足以裁掉已收敛的亚像素细节,因此静止图像永远无法完全解析,更长的历史反而得分更差。一个草拟的改动(尚未提交)在静止时把裁剪盒放宽到 2σ,并增加了一个 historyLength 控制项。用 TRAA 测试框架测量,静态视角相对超采样参考图获得 2.15 dB 的 PSNR 提升,相机静止但物体运动的场景获得 1.3 dB 提升,而快速相机运动的变化在 0.06 dB 以内。

使用 TAAU 进行超分辨率#

本系列用来对比的每个引擎都以低于输出分辨率渲染,并随时间重建差异:Unreal 中的 TSR、Godot 中的 FSR 2、Cyberpunk 2077 中的 DLSS 和 FSR。这是现代帧中最大的单项性能杠杆,因为解析之前的所有 pass 都会同时变得更便宜。

Three.js 现有的能力。 TAAUNode 已经做到了这一点,TAAU 示例展示了它在四分之一像素下的效果。它遵循 Karis 的时间超采样和 FSR 2。场景 pass 以降低后的分辨率渲染,通过 setResolutionScale() 设置。该节点对相机施加抖动,从周围 3×3 的抖动输入样本重建每个输出像素,并将其与保持在输出分辨率的历史混合,使用与 TRAA 相同的深度拒绝和方差裁剪,外加一个保护细小特征的锁定:

scenePass.setResolutionScale( 0.5 );

const taauNode = taau( scenePassColor, scenePassDepth, scenePassVelocity, camera );

如何融入。 TAAU 取代 TRAA 成为帧的最后一个阶段,帧中其他部分的结构不变:

  • 它之前的所有内容都以渲染分辨率运行。 G-buffer 预 pass、Hi-Z、SSR、SSGI 和 beauty pass 都采用相同的分辨率缩放。该节点对整个渲染管线向相机施加抖动,因此预 pass 和 beauty pass 保持对齐。
  • 它的输出是下一帧 SSR 和 SSGI 读取的图像。 该图像是输出分辨率下的线性 HDR,因此反射以渲染分辨率追踪,但读取的颜色比追踪它们的帧更锐利。SSR 部分的两个规则仍然适用:在色调映射之前读取它,并对其进行钳制。
  • Bloom、色调映射和其余后处理在它之后运行,以输出分辨率进行。

它还改变了上面的内存预算。开启 SSR 和 SSGI 时,76 字节的原生分辨率 TRAA 预算中约有 60 字节用于场景分辨率资源,16 字节用于历史和解析。TAAU 改用约 24 个画布大小的字节,包括其锁定历史,因此其模型为每画布像素 60 × 分辨率缩放² + 24 字节。在缩放为 0.5 时,这约为 39 字节而非 76 字节:4K 帧从约 626 MB 降至 322 MB,并只着色四分之一的像素。额外的 TAAU 历史意味着内存减少量小于像素减少量。第 2 部分链接了计算器,其中包含为超分器预留的临时流量额度。

TAAU 和联合双边上采样并非二选一。它们放大的对象不同。jointBilateralUpsample() 是空间性的,在单帧内工作:它接收半分辨率的中间缓冲区(AO、SSR 或 SSGI),在 beauty pass 读取之前将其提升到渲染分辨率,并由深度和法线引导。这些缓冲区平滑且带有噪声,没有细节可恢复,只有边缘需要保留。TAAU 是时间性的:它将已完成的图像从渲染分辨率提升到输出分辨率,并从抖动帧中恢复真正的亚像素细节。一帧可以同时使用两者。不过,如果两者都设为 0.5,SSR 和 SSGI 在每个轴上都以输出分辨率的四分之一运行,因此在开启 TAAU 的情况下,更好的做法可能是让它们以完整渲染分辨率运行,并跳过双边步骤。

缺口。

  • 将其接入完整管线。该示例只对单个场景 pass 进行上采样。此处的管线包含 prepass、半分辨率效果和 beauty pass,它们必须在分辨率和抖动上保持一致,并且 SSR 对上一帧的读取必须采用 TAAU 的输出。这些尚未一起尝试过。
  • 纹理 mip 偏置。以半分辨率渲染会使 GPU 选择比输出所应得的更模糊的纹理 mip。每个时间性上采样器都搭配约等于分辨率缩放 log2 的负 mip 偏置。Three.js 尚未应用这一偏置。
  • TRAA 的改进。TAAU 以 TRAA 当前的方式采样并裁剪其历史,因此 Catmull-Rom 历史和静止时更宽的裁剪同样适用于它,TRAA 测试框架应将其与相同的超采样参考进行对比测量。
  • 更廉价的锁。锁是每像素一个值,但存储在第二个半浮点 RGBA 历史目标中。单个 8 位通道将为每个输出像素节省 7 字节。

未来工作#

管线完成后,有几条线索值得跟进。

  • 更廉价的噪声。Houston Stratified Noise 为 SSR 提供了出色的采样,且无需下载纹理,但每个样本约需 400 次操作,而且每个像素每帧都要付出这个代价。对于如此基础的东西来说,这太多了。有前景的权衡是将部分工作转移到一个小的预计算贴图中:几百 KB,在启动时用 50 ms 或更少时间生成,既保留 HSN 的特性,又让每个样本变成一次查找和几次加法。
  • 自动曝光。从暗室走到明亮庭院需要眼睛适应,每个游戏都有这个需求。Three.js 尚未具备。
  • 基于物理的太阳和天空。Three.js 的天空是为艺术控制而构建的,而非物理光照水平。一个通过窗户照明的房间需要太阳和天空彼此一致,并与曝光一致:在 GPU 上计算大气散射,太阳的颜色和强度以真实单位从大气中推导出来。一个原型实现了单次散射;多次散射和云仍有待完成。
  • glTF 中的反射探针。KHR_lightmap 承载光照贴图,但没有标准方式来交付反射探针。最低限度是每个探针的位置和影响盒,以便加载器在加载时捕获探针;更完整的版本还会携带预过滤的立方体贴图,这样完全无需捕获。
  • 方向性光照贴图。 这里的光照贴图每个纹素只存储一个辐照度值,因此法线贴图无法对烘焙光照作出响应。方向性光照图以每个纹素多几个字节的代价恢复了这种响应:一个环境项加上一个主导方向,如 The Last of Us 和 Call of Duty 中所做;L1 球谐函数,如 Frostbite 中所做;或球面高斯,如 The Order: 1886 中所做。

剩下的是什么#

最大的缺口是一帧所需的最后一步:一种将两个级联都接入材质 BRDF 的方法。它比这里任何其他阶段都更多地改动了 Three.js,因此它有自己的文章。

来源:Hacker News · ben3d.ca