Lighting Techinology of the Last Of Us(2013

SIGGRAPH)

or "Old Lightmaps - New Tricks"

原作:Michal lwanicki

本篇主要讲述 The Last of Us中用到的用到的光照技术,以及解决问题的思路,原作者wanicki是 顽皮狗的引擎工程师,同时也参与了RealTime Rendering 4th的编写。

ppt 原文链接[http://miciwan.com/SIGGRAPH2013/Lighting%20Technology%20of%20The%20Last%20Of%20Us.pdf]

同时也要感谢下工作室大佬的解惑。

目录

  • 一.背景介绍
  • 二.最小二乘降低误差
  • 三.Lightmaps
  • 四.出现的问题和解决方法
  • 五.优化方法
  • 六.结论

一.背景介绍

由于游戏发生在后世界末日,几乎没有电,所以没有人造光源。大部分的光线来自太阳和天空,所以大部分的环境都是由反射光照亮的。

有一个非常强大的艺术方向:我们想展示这个灯光的美丽,它的柔和,它如何在不同表面之间传播,它创造的柔和阴影。我们想显示间接光照的镜面反射高光,并显示用普通的normal map展示细节。

首先展示一下我们想要达到的效果



如图所见,所有的光线都很柔和,但同时表面细节也表现的很到位。

为了实现这样的效果,目前机器性能实时渲染是吃不消的,所以我们使用了预计算的光照贴图。虽然光照贴图应用了这么多年,但是还是存在一些根本性的问题。

二.最小二乘降低误差

接缝:在三维空间中相邻的区域,映射到UV空间中时,可能在不同贴图的相交区域,如果沿分割线做插值的话,不完全匹配就会产生明显的接缝。
(打个比方一个圆柱沿竖线剪开,展uv,竖线2侧在三维空间中可能是连续的,但是uv空间展开之后不连续)

常见解决方法:在运行时,花费额外的开销,去减弱接缝,或者对物体在uv空间中的位置做一些限制。

为什么没有用在The Last Of Us中:美术的体量不匹配,不适合当前的项目,效率低下,成本太高,无法集成到项目的管线中。

我们发现,我们的主要矛盾就是接缝两侧插值不匹配的问题,所以我们通过了修改边缘纹理的强度,来让他们匹配起来

如上图所示的例子,先介绍下概念,绿色和紫色是空间中的2个mesh,红点虚线是分割边,在这个分割边上,取了很多个点,Ci0表示绿色mesh中i点相邻4个像素的 插值, 在紫色mesh中同样有一个点Ci1,如果Ci0 = Ci1 最好,我们把同一个点在相邻mesh上的误差定义为他们的平方差

\[\ C_{i0}= \sum_{j}^{4}{W_{0ij} * T_{0ij}}\]
\[\ C_{i1}= \sum_{j}^{4}{W_{1ij} * T_{1ij}}\]

\[E_i = (C_{i0} - C_{i1})^2 \]

整个光照贴图的误差函数,就是各个点的误差之和。

当有了误差函数之后,使用最小二乘法,把纹理的值作为变量,优化过程,通过修改texel的值,确保误差最小,为了确保最后的结果不偏离最初计算的值,引入了一个约束惩罚计算值的偏离,这个值用户可以调配。

好处

  • 不用对UV布局进行更改
  • 没有额外的运行开销
  • 并且这种方法可以用在其它类型的贴图边缘融合

一些注意事项

  • DXT压缩会打破一些精度,大多数情况看不出来,看起来是正常的,
  • 不要自己写 线性解算器,有一些现成的轮子[Eigen]

额外补充

如果你仔细观察,就会发现,最小二乘最小化,其实在其它很多地方用到过。比如游戏游戏中 3D LUT(Look Up Table,直译过来就是查找表的意思。所以LUT的本质就是输入一个特定的值转化为一个对应的输出值)管线的颜色校正,流程如下

  • 截图
  • 在图片中嵌入问题
  • 在Photoshop中演算
  • 提取LUT
  • 在游戏中,渲染场景,提取LUT

比较的结果可能是,有严重的变色,这时候误差函数被定义为两幅图片中的平方差,通过修改volume texture 使误差最小,会取得一个比较好的结果。
LUT扩展阅读(https://zhuanlan.zhihu.com/p/37717976)

三.Lightmap 新的表达

回到灯光中,我们希望在没有直接光照的情况下,避免表面平坦,所以光照贴图中须要包含光照的方向信息。

我们评估了不同的方案,HL2(半条命)的Radiosity Normal Mapping,用6个方向的vec3来记录光照信息。(https://drivers.amd.com/developer/gdc/D3DTutorial10_Half-Life2_Shading.pdf)。

好处是相比SH(Sphere harmonic),计算量会稍微少点,但是用在曲面上,因为是插值的原因,细节丢失的会多一点。

目前2018年UE4和unity都用上了SH。

最后选择了一个简单的方案,为每个光照贴图 同时存储Ambient(环境光)和Directional(方向光)。

通过使用 “环境光” + ”方向光” 的方案,有几个好处

  • 1.美术能很好的理解 烘焙结果的输出
  • 2.某种意义上方便直接上手调整效果
  • 3.通过主光源的方向信息,可以创作一些额外的效果

对于光照贴图的每个texel纹理,烘焙工具会有光照发布的信息,我们分为2个组件

  • 环境光部分: 为单一颜色,各个方向强度相同
  • 方向光部分: 包含一个反方信息和颜色信息(这里的颜色为,光在方向的强度)

我们通过GI bake 的工具生成了SH(球谐函数sphere harmonics) lightmap,通过这样的方式(环境光+方向光)表示最终的效果。

\[I = C_{amb} + C_{dir} * max((\vec
N,\vec L),0 )\]

通过这种表达方式,还可以表示表面的高光。

四.出现的问题和解决方法

看看效果,感觉还不错。

虽然理想很美好,但是当我们添加了人物之后,有点蹦。


人物看起来很奇怪,为什么呢,因为人物在与环境交互的时候,会产生阴影,看起来是环境的一部分,而上图却没有。

通过查阅一些资料,我们在sh指数化的论文中得到了灵感,用一组球体来近似遮光罩,并通过将它们以一种奇特的方式相乘,结合被描述为sh向量的可见性函数。

问题是要得到满意的阴影,需要高的sh阶。斯蒂芬·希尔在《分裂细胞》中用二阶sh对AO做了类似的事情。

我们的优势

  • 结构简单,只有一个环境光部分和方向光部分,不用关心得到整体的可见性函数,可以分开2个部分的表示
  • 对每个部分,球面上的点,计算遮挡
    • 对于环境光部分,计算单位球在半球面遮挡的cos的加权百分比
    • 对于方向光部分,从目标点往球面创建一个圆锥体,检查光照方向和半球面的交叉点

接下来是一些技术细节

  • 对于环境分量,有一个近似的解决方案,直接计算立体角的cos和整个半球cos的比值
  • 对于方向分量,是哟给你蒙特卡洛进行预计算,对于给定的圆锥叫 theta,将采样区域概率密度 转化到 接受点立体角的概率密度

raytrace one week 第三本 和pbrt14.6章 都有介绍。(https://computergraphics.stackexchange.com/questions/4288/path-weight-for-direct-light-sampling

圆锥的角度是可以调整的,可以让美术来控制阴影边缘的大小,

五.优化方法

使用SPU渲染到缓冲区

先通过使用SPU(主机平台的一种流处理器单元)去渲染阴影到缓冲区,GPU在渲染的时候,从缓冲区中读数据,再最终渲染出结果。

4-5个角色差不多要6-7ms,但是用了这种方法,代理分割到6个SPU单元,2ms就搞定了。

使用低模代理去计算阴影

这样可以很好的提高运算效率,在测试场景中,模型精度讲到1/4,计算得到的阴影基本很难看出区别,非常有效。

六.结论

  • 预计算光照还可以发光发热
  • 一些tricks可以使画面更好
  • 记得使用最小二乘
  • 不要自己写线性解算器

参考文献

  • [Eigen] Eigen library: (http://eigen.tuxfamily.org/index.php?title=Main_Page)
  • [McTaggart2004] "Half-Life 2/Valve Source Shading",Gary McTaggart
  • [Good2005] "P[timized Photon Tracing Using Spherical Harmonic Light Maps", Otavio Good and Zachary Taylor
  • [Ren2006] "Real_time Soft Shadows in Dynamic Scenes using Spherical Harmonic Exponentitaion", Zhong Ren et al.
  • [Sloan2007] "Image-Based Proxy Accumulation for Real-Time Soft Global Illumination", Peter-Pike Sloan et al.
  • [Hill2010] "Rendering with Conviction", Stephen Hill
  • [Oat 2006] "Ambient Aperture Lighting", Christopher Oat and Predro V. Sander

Lighting Techinology of the Last Of Us (2013 SIGGRAPH)的更多相关文章

  1. Filtering Approaches for Real-Time Anti-Aliasing(2011 SIGGRAPH)

    Filtering Approaches for Real-Time Anti-Aliasing(2011 SIGGRAPH) 在2011的SIGGRAPH上,NVIDA提出了FXAA3.1,本文主要 ...

  2. Godaddy主机从购买到开通的详细图文教程(2013年)

    http://bbs.zhujiusa.com/thread-10-1-1.html Godaddy主机从购买到开通的详细图文教程(2013年最新) Godaddy是全球域名注册商中的NO.1,同时也 ...

  3. IT农民的开发人员工具清单(2013年)

    IT行业日新月异,每天都不断变化着.作为一名混迹IT行业小有几个年头码农来说,不仅要时刻提高自身技术,也要不断更新自己开发工具.这些工具都是我吃饭的饭碗.饭碗旧了也是需要买个新的.转眼之间,已到201 ...

  4. Patchwork(2013年)--CNV检测方法流程

    文章题目:Patchwork: allele-specific copy number analysis of whole-genome sequenced tumor tissue 特点: 可以检测 ...

  5. python基础学习(十二)

    模块 前面有简单介绍如何使用import从外部模块获取函数并且为自己的程序所用: >>> import math >>> math.sin(0) #sin为正弦函数 ...

  6. python基础学习笔记(十二)

    模块 前面有简单介绍如何使用import从外部模块获取函数并且为自己的程序所用: >>> import math >>> math.sin(0) #sin为正弦函数 ...

  7. 【Unity Shaders】Diffuse Shading——创建一个自定义的diffuse lighting model(漫反射光照模型)

    本系列主要参考<Unity Shaders and Effects Cookbook>一书(感谢原书作者),同时会加上一点个人理解或拓展. 这里是本书所有的插图.这里是本书所需的代码和资源 ...

  8. Unity Lighting - The Precompute Process 预计算过程(二)

      The Precompute Process 预计算过程 In Unity, precomputed lighting is calculated in the background - eith ...

  9. UVa 11400 - Lighting System Design(线性DP)

    链接: https://uva.onlinejudge.org/index.php?option=com_onlinejudge&Itemid=8&page=show_problem& ...

随机推荐

  1. ros msg和srv使用

    在包文件中新建文件夹srv和msg,在这两个文件夹中新建test.msg,test.srv 修改apckage.xml 添加以下内容 <build_depend>:message_gene ...

  2. spark调优篇-数据倾斜(汇总)

    数据倾斜 为什么会数据倾斜 spark 中的数据倾斜并不是说原始数据存在倾斜,原始数据都是一个一个的 block,大小都一样,不存在数据倾斜: 而是指 shuffle 过程中产生的数据倾斜,由于不同的 ...

  3. kubernetes kubeadm安装v1.14

    1.我们这里准备两台Centos7的主机用于安装,后续节点可以根究需要添加即可:master node01两台都得改:cat /etc/hosts192.168.71.134 master192.16 ...

  4. 植物大战僵尸:寻找召唤僵尸关键CALL

    实验目标:通过遍历寻找召唤僵尸的CALL,通过调用CALL出现自定义的僵尸,加速僵尸的出现. 僵尸CALL的遍历技巧: 我们可以通过僵尸出现在屏幕中的个数来遍历寻找僵尸出现的CALL 首先打开CE-& ...

  5. MySQL SQL Training

    源于知乎:50道SQL练习题 一.表数据 1.学生表——Student ),Sname ),Sage )); ' , '赵雷' , '1990-01-01' , '男'); ' , '钱电' , '1 ...

  6. Java String类源码

    String类的签名(JDK 8): public final class String implements java.io.Serializable, Comparable<String&g ...

  7. Python集合的常用方法

    注释很详细 collection={,,"apple","orange","cat"} # 查看一个数是否在集合中 in print(&qu ...

  8. python简答

    解释 GIL 全局解释器锁 def func(*args): for i in args: print(i) func(3,2,1,4,7) 在我们不知道该传递多少关键字参数时,使用**kwargs ...

  9. 【图像处理 】 一、OSTU分割法

    图像中像素的灰度值小于阈值T的像素个数记作N0,像素灰度大于阈值T的像素个数记作N1,则有: 图像大小:M*N T为二值化的阈值: N0为灰度小于T的像素的个数,N0的平均灰度为μ0 N1 为灰度大于 ...

  10. css优先级及其对应的权重

    1.选择器的优先级 !important>内联选择器(style)>id选择器>类选择器 | 属性选择器 | 伪类选择器 > 元素选择器>通配符(*) 2.选择器的权重( ...