Lighting Techinology of the Last Of Us(2013

SIGGRAPH)

or "Old Lightmaps - New Tricks"

原作:Michal lwanicki

本篇主要讲述 The Last of Us中用到的用到的光照技术,以及解决问题的思路,原作者wanicki是 顽皮狗的引擎工程师,同时也参与了RealTime Rendering 4th的编写。

ppt 原文链接[http://miciwan.com/SIGGRAPH2013/Lighting%20Technology%20of%20The%20Last%20Of%20Us.pdf]

同时也要感谢下工作室大佬的解惑。

目录

  • 一.背景介绍
  • 二.最小二乘降低误差
  • 三.Lightmaps
  • 四.出现的问题和解决方法
  • 五.优化方法
  • 六.结论

一.背景介绍

由于游戏发生在后世界末日,几乎没有电,所以没有人造光源。大部分的光线来自太阳和天空,所以大部分的环境都是由反射光照亮的。

有一个非常强大的艺术方向:我们想展示这个灯光的美丽,它的柔和,它如何在不同表面之间传播,它创造的柔和阴影。我们想显示间接光照的镜面反射高光,并显示用普通的normal map展示细节。

首先展示一下我们想要达到的效果



如图所见,所有的光线都很柔和,但同时表面细节也表现的很到位。

为了实现这样的效果,目前机器性能实时渲染是吃不消的,所以我们使用了预计算的光照贴图。虽然光照贴图应用了这么多年,但是还是存在一些根本性的问题。

二.最小二乘降低误差

接缝:在三维空间中相邻的区域,映射到UV空间中时,可能在不同贴图的相交区域,如果沿分割线做插值的话,不完全匹配就会产生明显的接缝。
(打个比方一个圆柱沿竖线剪开,展uv,竖线2侧在三维空间中可能是连续的,但是uv空间展开之后不连续)

常见解决方法:在运行时,花费额外的开销,去减弱接缝,或者对物体在uv空间中的位置做一些限制。

为什么没有用在The Last Of Us中:美术的体量不匹配,不适合当前的项目,效率低下,成本太高,无法集成到项目的管线中。

我们发现,我们的主要矛盾就是接缝两侧插值不匹配的问题,所以我们通过了修改边缘纹理的强度,来让他们匹配起来

如上图所示的例子,先介绍下概念,绿色和紫色是空间中的2个mesh,红点虚线是分割边,在这个分割边上,取了很多个点,Ci0表示绿色mesh中i点相邻4个像素的 插值, 在紫色mesh中同样有一个点Ci1,如果Ci0 = Ci1 最好,我们把同一个点在相邻mesh上的误差定义为他们的平方差

\[\ C_{i0}= \sum_{j}^{4}{W_{0ij} * T_{0ij}}\]
\[\ C_{i1}= \sum_{j}^{4}{W_{1ij} * T_{1ij}}\]

\[E_i = (C_{i0} - C_{i1})^2 \]

整个光照贴图的误差函数,就是各个点的误差之和。

当有了误差函数之后,使用最小二乘法,把纹理的值作为变量,优化过程,通过修改texel的值,确保误差最小,为了确保最后的结果不偏离最初计算的值,引入了一个约束惩罚计算值的偏离,这个值用户可以调配。

好处

  • 不用对UV布局进行更改
  • 没有额外的运行开销
  • 并且这种方法可以用在其它类型的贴图边缘融合

一些注意事项

  • DXT压缩会打破一些精度,大多数情况看不出来,看起来是正常的,
  • 不要自己写 线性解算器,有一些现成的轮子[Eigen]

额外补充

如果你仔细观察,就会发现,最小二乘最小化,其实在其它很多地方用到过。比如游戏游戏中 3D LUT(Look Up Table,直译过来就是查找表的意思。所以LUT的本质就是输入一个特定的值转化为一个对应的输出值)管线的颜色校正,流程如下

  • 截图
  • 在图片中嵌入问题
  • 在Photoshop中演算
  • 提取LUT
  • 在游戏中,渲染场景,提取LUT

比较的结果可能是,有严重的变色,这时候误差函数被定义为两幅图片中的平方差,通过修改volume texture 使误差最小,会取得一个比较好的结果。
LUT扩展阅读(https://zhuanlan.zhihu.com/p/37717976)

三.Lightmap 新的表达

回到灯光中,我们希望在没有直接光照的情况下,避免表面平坦,所以光照贴图中须要包含光照的方向信息。

我们评估了不同的方案,HL2(半条命)的Radiosity Normal Mapping,用6个方向的vec3来记录光照信息。(https://drivers.amd.com/developer/gdc/D3DTutorial10_Half-Life2_Shading.pdf)。

好处是相比SH(Sphere harmonic),计算量会稍微少点,但是用在曲面上,因为是插值的原因,细节丢失的会多一点。

目前2018年UE4和unity都用上了SH。

最后选择了一个简单的方案,为每个光照贴图 同时存储Ambient(环境光)和Directional(方向光)。

通过使用 “环境光” + ”方向光” 的方案,有几个好处

  • 1.美术能很好的理解 烘焙结果的输出
  • 2.某种意义上方便直接上手调整效果
  • 3.通过主光源的方向信息,可以创作一些额外的效果

对于光照贴图的每个texel纹理,烘焙工具会有光照发布的信息,我们分为2个组件

  • 环境光部分: 为单一颜色,各个方向强度相同
  • 方向光部分: 包含一个反方信息和颜色信息(这里的颜色为,光在方向的强度)

我们通过GI bake 的工具生成了SH(球谐函数sphere harmonics) lightmap,通过这样的方式(环境光+方向光)表示最终的效果。

\[I = C_{amb} + C_{dir} * max((\vec
N,\vec L),0 )\]

通过这种表达方式,还可以表示表面的高光。

四.出现的问题和解决方法

看看效果,感觉还不错。

虽然理想很美好,但是当我们添加了人物之后,有点蹦。


人物看起来很奇怪,为什么呢,因为人物在与环境交互的时候,会产生阴影,看起来是环境的一部分,而上图却没有。

通过查阅一些资料,我们在sh指数化的论文中得到了灵感,用一组球体来近似遮光罩,并通过将它们以一种奇特的方式相乘,结合被描述为sh向量的可见性函数。

问题是要得到满意的阴影,需要高的sh阶。斯蒂芬·希尔在《分裂细胞》中用二阶sh对AO做了类似的事情。

我们的优势

  • 结构简单,只有一个环境光部分和方向光部分,不用关心得到整体的可见性函数,可以分开2个部分的表示
  • 对每个部分,球面上的点,计算遮挡
    • 对于环境光部分,计算单位球在半球面遮挡的cos的加权百分比
    • 对于方向光部分,从目标点往球面创建一个圆锥体,检查光照方向和半球面的交叉点

接下来是一些技术细节

  • 对于环境分量,有一个近似的解决方案,直接计算立体角的cos和整个半球cos的比值
  • 对于方向分量,是哟给你蒙特卡洛进行预计算,对于给定的圆锥叫 theta,将采样区域概率密度 转化到 接受点立体角的概率密度

raytrace one week 第三本 和pbrt14.6章 都有介绍。(https://computergraphics.stackexchange.com/questions/4288/path-weight-for-direct-light-sampling

圆锥的角度是可以调整的,可以让美术来控制阴影边缘的大小,

五.优化方法

使用SPU渲染到缓冲区

先通过使用SPU(主机平台的一种流处理器单元)去渲染阴影到缓冲区,GPU在渲染的时候,从缓冲区中读数据,再最终渲染出结果。

4-5个角色差不多要6-7ms,但是用了这种方法,代理分割到6个SPU单元,2ms就搞定了。

使用低模代理去计算阴影

这样可以很好的提高运算效率,在测试场景中,模型精度讲到1/4,计算得到的阴影基本很难看出区别,非常有效。

六.结论

  • 预计算光照还可以发光发热
  • 一些tricks可以使画面更好
  • 记得使用最小二乘
  • 不要自己写线性解算器

参考文献

  • [Eigen] Eigen library: (http://eigen.tuxfamily.org/index.php?title=Main_Page)
  • [McTaggart2004] "Half-Life 2/Valve Source Shading",Gary McTaggart
  • [Good2005] "P[timized Photon Tracing Using Spherical Harmonic Light Maps", Otavio Good and Zachary Taylor
  • [Ren2006] "Real_time Soft Shadows in Dynamic Scenes using Spherical Harmonic Exponentitaion", Zhong Ren et al.
  • [Sloan2007] "Image-Based Proxy Accumulation for Real-Time Soft Global Illumination", Peter-Pike Sloan et al.
  • [Hill2010] "Rendering with Conviction", Stephen Hill
  • [Oat 2006] "Ambient Aperture Lighting", Christopher Oat and Predro V. Sander

Lighting Techinology of the Last Of Us (2013 SIGGRAPH)的更多相关文章

  1. Filtering Approaches for Real-Time Anti-Aliasing(2011 SIGGRAPH)

    Filtering Approaches for Real-Time Anti-Aliasing(2011 SIGGRAPH) 在2011的SIGGRAPH上,NVIDA提出了FXAA3.1,本文主要 ...

  2. Godaddy主机从购买到开通的详细图文教程(2013年)

    http://bbs.zhujiusa.com/thread-10-1-1.html Godaddy主机从购买到开通的详细图文教程(2013年最新) Godaddy是全球域名注册商中的NO.1,同时也 ...

  3. IT农民的开发人员工具清单(2013年)

    IT行业日新月异,每天都不断变化着.作为一名混迹IT行业小有几个年头码农来说,不仅要时刻提高自身技术,也要不断更新自己开发工具.这些工具都是我吃饭的饭碗.饭碗旧了也是需要买个新的.转眼之间,已到201 ...

  4. Patchwork(2013年)--CNV检测方法流程

    文章题目:Patchwork: allele-specific copy number analysis of whole-genome sequenced tumor tissue 特点: 可以检测 ...

  5. python基础学习(十二)

    模块 前面有简单介绍如何使用import从外部模块获取函数并且为自己的程序所用: >>> import math >>> math.sin(0) #sin为正弦函数 ...

  6. python基础学习笔记(十二)

    模块 前面有简单介绍如何使用import从外部模块获取函数并且为自己的程序所用: >>> import math >>> math.sin(0) #sin为正弦函数 ...

  7. 【Unity Shaders】Diffuse Shading——创建一个自定义的diffuse lighting model(漫反射光照模型)

    本系列主要参考<Unity Shaders and Effects Cookbook>一书(感谢原书作者),同时会加上一点个人理解或拓展. 这里是本书所有的插图.这里是本书所需的代码和资源 ...

  8. Unity Lighting - The Precompute Process 预计算过程(二)

      The Precompute Process 预计算过程 In Unity, precomputed lighting is calculated in the background - eith ...

  9. UVa 11400 - Lighting System Design(线性DP)

    链接: https://uva.onlinejudge.org/index.php?option=com_onlinejudge&Itemid=8&page=show_problem& ...

随机推荐

  1. poj3304(叉积判断直线和线段相交)

    题目链接:https://vjudge.net/problem/POJ-3304 题意:求是否能找到一条直线,使得n条线段在该直线的投影有公共点. 思路: 如果存在这样的直线,那么在公共投影点作直线的 ...

  2. storm常见问题

    一.storm ui 不显示 supervisor 信息 在zk节点上删掉storm信息,重新启动storm集群即可

  3. oracle 创建新用户,授权dba

    1.用有dba权限的用户登录:sys用户 2.创建一个新用户:create user abc identified by 123456; 3.授予DBA权限: grant connect,resour ...

  4. StorageClass-动态PVC

    StorageClass 之前我们部署了PV 和 PVC 的使用方法,但是前面的 PV 都是静态的,什么意思?就是我要使用的一个 PVC 的话就必须手动去创建一个 PV,我们也说过这种方式在很大程度上 ...

  5. Mysql数据库的优化(本文摘自于网络,文章末端有原文链接)

    对于一个以数据为中心的应用,数据库的好坏直接影响到程序的性能,因此数据库性能至关重要.一 般来说,要保证数据库的效率,要做好以下四个方面的工作: ① 数据库设计 ② sql语句优化 ③ 数据库参数配置 ...

  6. python入门pk小游戏

    import time import random flag = True while flag: player_win = 0 enemy_win = 0 for i in range(1, 4): ...

  7. HTTP协议探究(序章)

    1 HTTP协议基于TCP协议 (1)TCP三次握手连接 HTTP客户端(Chrome浏览器): IP:192.168.1.47 端口:59875 MSS:1460 HTTP服务器(Nginx服务器) ...

  8. OneinStack – 一键PHP/JAVA安装工具

    https://oneinstack.com/ OneinStack包含以下组合:lnmp(Linux + Nginx+ MySQL+ PHP) lamp(Linux + Apache+ MySQL+ ...

  9. sqlserver错误状态码解释

    Code Error Message 0 操作成功完成. 1 功能错误. 2 系统找不到指定的文件. 3 系统找不到指定的路径. 4 系统无法打开文件. 5 拒绝访问. 6 句柄无效. 7 存储控制块 ...

  10. 【温故知新】php 魔术方法

    <?php class Magic{ private $name; /** *构造方法,在类被实例化时自动调用,一般用于初始化操作 */ public function __construct( ...