降分辨率渲染特效优化

转自https://zhuanlan.zhihu.com/p/681262305

起因

半透明特效是游戏优化里一个很烦人的地方。主要原因是负载的变化太大，有时候视角一不小心插进特效里就是满屏的Overdraw。尤其是有时候极美或者特效为了效果，粒子发射器不要钱的加，画面氛围是出来了，但帧率也和心电图一样大起大落。一般情况下能跑个6、70fps，特效一糊脸就30、40fps了。

备选方案

一种解决方案是裁剪特效mesh，用微量的光栅开销换取overdraw面积减少。基本上是无损画面效果的优化，而且像houdini这种dcc软件也能方便的生成优化mesh。但碰到一堆粒子糊脸的情况（比如浓烟浓雾），mesh裁剪前后区别很小，做完这套之后最差帧数并没有啥提升。

如果特效不透明度比较高，接近opaque，只有一些边缘部分有半透效果，那可以考虑用alpha dither实现半透明。这样多层特效叠起来的overdraw可以通过对alpha test物体做z prepass消除掉。但alpha dither个人测下来，对不透明度低的效果来说基本不太可用，而且由于每帧半透明dither矩阵相同的原因，无法实现多层半透明相近的特效混合，前面的会盖住后面，所以使用限制非常大。话虽如此，但当机能限制很大的时候，也有游戏这么做，比如猎天使魔女3。

除此之外也可以优化粒子特效本身的光照性能。逐顶点的计算光照可能过于低频了，但是做个variable rate shading，给个2x2的光照计算，对于很多特效来说画面牺牲是很小的（玩家又不是同行，不会拉近贴脸截帧看效果）。考虑到vrs这个特性比较新，而且实际光照计算还可以更低频，还可以再一步砍光照。做了froxel的话可以直接读froxel注入的光照（至于froxel体积光照的优化后面再写）。或者像doom那样，给每个粒子单独在固定分辨率下单独计算光照，最后绘制半透明的时候再采样这张光照图，实现光照分辨率和绘制分辨率的彻底解耦。

Doom 2016

（Doom为了避免直接bilinear采样光照导致的栅格感，在采样粒子光照的时候用的bicubic，开销还会再高点）

但碰上低端显卡，仅仅优化着色性能还是不够的。把光照计算没了，全靠从froxel里读结果和周围场景混合。这时候看性能统计，耗时仍然非常恐怖，基本上就是卡在了最后和framebuffer做alpha blend的纯带宽消耗了。尤其是现在游戏普遍做hdr lighting，framebuffer ARGB_Half起步，比起老旧的srgb32管线比起来带宽就翻倍了。最后发现还是得把半透明单独提出来，单独降分辨率渲染，这样overdraw就是再高，上限也给固死了。

降分辨率离屏半透明渲染的痛点

想法很简单，但实际做起来麻烦的点还不少。相当一部分时间花在了研究在不改Unity源码和大变动渲染框架的情况下，把半透明提出来渲染。对于SRP下，自己开个scriptable renderer feature很简单，但是默认管线下就很蛋疼了。这部分纯属于无可奈何的工程hack，不提也罢。

除此之外，这个方案也有几个比较明显的问题：

半透明排序问题

对于烟雾，火焰这些低频特效来说，降分辨率渲染观感确实差别不大。但场景里总有其他半透明物体，有的是场景物体，有的是技能特效，这些效果可能存在高频细节，不能全都降到一个很低的分辨率渲染。那这样的话，自然而然就碰上降分辨率半透明和全分辨率半透明之间怎么排序的问题。

很遗憾，目前我没看到啥泛用的方案，除非上OIT，否则纯cpu排序是没法应付两种不同分辨率的半透明穿插的情况。不同分辨率的半透明一定会存在一个先后关系。从之前王国之泪的截帧来看，他们的做法只有远处的物体用降分辨率半透明渲染，近距离都是全分辨率。实际游戏里能看到远处的瘴气特效锯齿是很多的，随着距离的接近会渐渐变成全分辨率的。

我的做法倒是反的，只有近距离贴脸特效会降分辨率，远处的反而保持不变。这样降分辨率半透明只需要叠在全分辨率的光照结果后就好了。我这么做的主要原因是profile下来overdraw大头还是贴脸的半透明，远处并不是瓶颈。实际上想想也是，远处半透明往往屏占比比较小，降分辨率节约的性能不多；而且由于距离远，总体形状小，降分辨率的边缘瑕疵占比会比较大。

半透明混合问题

排序解决了，接下来就是该怎么把离屏渲染的半透明混合回去的问题了。这里推荐阅读这篇文章：

Jeffrey Zhuang：关于理解 Premultiplied Alpha 的一些 Tips258 赞同 · 14 评论 文章

实际上之前看大家做单独渲染半透明rt的时候，基本也都是选择premultiplied alpha方案。本来我也准备这么做了，但。。。alpha预乘这套做法需要修改已有的特效shader的贴图计算，考虑到需要适配的特效shader可能有很多种，这种做法需要的工期会很长。尤其是还要考虑到部分特效还是会正常走framebuffer渲染的情况，shader里还要用宏控制切换，比较复杂。在时间有限的情况下，还是得找个更方便的方案，牵扯的越少越好。

最后选择的方案是GPU Gems 3里的方案：

https://developer.nvidia.com/gpugems/gpugems3/part-iv-image-effects/chapter-23-high-speed-screen-particles

具体推导我就不解释了，详细见其23.5节。这套方案的好处是只需要硬件支持 Separate Alpha Blend，也就是说rgb和alpha采用不同的blend方式，就可以只改alpha blend mode达到正确的离屏半透明渲染叠加效果：

AlphaBlendEnable = true; SrcBlend = SrcAlpha; DestBlend = InvSrcAlpha;
SeparateAlphaBlendEnable = true; SrcBlendAlpha  = Zero; DestBlendAlpha = InvSrcAlpha; 

英伟达Cg里的 InvSrcAlpha 就是 OneMinusSrcAlpha，替换到 Unity ShaderLab 里就是

Blend SrcAlpha OneMinusSrcAlpha, Zero OneMinusSrcAlpha

这时候只需要把需要离屏渲染的特效材质的Blend Mode暴露出来，然后用脚本设置即可，比改shader少了一堆事。另外就是保证离屏buffer要被初始化为 (0, 0, 0, 1)，也就是黑色。

不过不知道为什么，原文没提到怎么把离屏buffer叠回去的blend mode，但这个和其实绘制用的是不一样的，所以得自己推一下。这是混合最后的形式：

来自GPU Gems 3

d是原分辨率framebuffer里的颜色（destination），s是降分辨率的要叠加对象（source）。小写的1、2、3则是对应的半透明像素的alpha值。这里是假设有3次半透明混合的情况。

对于右半边的s而言，我们的 rgb 已经是用 OneMinusSrcAlpha 的形式去叠加了，所以这里就是直接乘离屏buffer里的颜色；对于d来说，他需要离屏的一堆 OneMinusSrcAlpha 相乘，而这正是离屏alpha通道的内容，所以最后叠回去的 Blend Mode 是

Blend One SrcAlpha

不透明边缘锯齿问题

虽然大部分特效内部颜色较为低频，降低分辨率也不太看得出来，但是特效的边缘和不透明物体交接的地方就非常容易穿帮了，这里选择GPU Gems 3里的极端实例：

a是全分辨率半透明，b是降分辨率半透明。这个例子里是1/64的降采样，再加上高对比度的颜色，把瑕疵显得明显点。实际上没那么离谱，不过还是要解决一下，毕竟火焰这类高对比度特效还是很常见的。

本质问题其实很简单，直接降采样去绘制半透明的时候，我们还需要降采样 Depth Buffer。当我们直接用 Point 模式去降采样 Depth 的话，理所当然深度缓冲是充满锯齿的，尤其是不透明物体边缘，深度存在突变，那自然就会很明显，有时候会像空了一圈一样。

之前Bungie提出了一种方案，Variance Depth Map 来解决这个问题。简单来说，降采样深度的时候用最远深度（比如1/64分辨率的话就是8x8一圈里最远的深度值），然后根据透明度权重混合每个半透明片元的depth和depth^2值。最后叠回去的时候用 depth 和 depth^2 构建该像素的半透明深度variance，根据切比雪夫不等式估计这个片元是否被全分辨率depth遮挡。由于variance可以线性插值，达到了我们希望不透明物体边缘depth突变处也能平滑过渡的效果 -- 除非碰上一个像素里不同半透明片元的depth差异过大导致variance爆了。

嗯，其实想想这就是 Variance Shadowmap 的延伸。不得不说VSM这套把离散depth转成平滑插值的方案在很多其他地方都颇有建树，比如之前DDGi的probe visibility判断。

不过，真的有必要上一整套 VDM 吗？VDM其实开销还是不低的。暂不论variance比较的额外alu开销，实际带宽开销也要多不少，因为要额外记录半透明加权的 depth 和 depth^2。尤其是 depth^2，众所周知，平方容易导致数值爆炸，这至少要给个16bit depth吧？搞不好32bit都可能需要。本来就要承受半透明分辨率降下去导致的画质减损了，结果来了个depth要再把带宽干回去，这就有点不爽了。

实际上，只需要降采样深度的时候用最远深度观感就好很多了。降采样的时候用最远深度意味着更多的半透明会通过ztest绘制到前面来，虽然这也是错误的，但是单纯观感上会比不透明周围空了一圈要好看。之前的图里最右侧c就是使用furthest depth 降采样的结果，可以清楚的看到红色“溢出”到了不透明物体上。

可能有人觉得这还是很难看，但这张图是没用软粒子的情况。实际上开了软粒子，由于溢出部分半透明本身深度就和后面不透明物体的深度差不多，depth fade直接淡掉了，分辨率不降那么离谱几乎看不出来。

所以最后为了性能，直接就用了furthest depth dilation降采样，配合上软粒子。实测出来，对于火焰和烟雾这种低频特效，1080p分辨率下贴脸，1/4分辨率半透明渲染对于专业人士来看都几乎毫无感知；1/8需要凑近仔细看才能看到和不透明物体交接处的轻微瑕疵；1/16分辨率很更明显一些，但这也是对于专业人士而言，大部分玩家我觉得是不说也不会有人发现（甚至对于主机游戏来说，沙发电视机距离完全不可能发现，物理抗锯齿）。实际上我刚开始降到1/16分辨率的时候，一时间都没看出区别，一度以为代码没写对。直到开了frame debugger，看到那270p一块小小的alpha rt才意识到真就可以分辨率这么低。

当然这里提一嘴，furthest depth dilation也是存在开销的。降采样越低，虽然target rt尺寸小了，但是每个像素要做local reduce的范围也大了。为了最佳性能，给1/2，1/4，1/8，1/16的情况每个特化一个降采样shader出来，直接手动展开循环。反正用Gather一次可以拿4个sample，1/16也能简化到4次采样。还想再优化，也可以用threadgroup shared memory或者直接wavelane shuffle（但后者Unity里必须sm 6.5 + dx12 dxc，所以寄了）。但我这里性能还行，采的也没那么多，就这样了。