Lighting Techinology of the Last Of Us(2013

SIGGRAPH)

or "Old Lightmaps - New Tricks"

原作:Michal lwanicki

本篇主要讲述 The Last of Us中用到的用到的光照技术,以及解决问题的思路,原作者wanicki是 顽皮狗的引擎工程师,同时也参与了RealTime Rendering 4th的编写。

ppt 原文链接[http://miciwan.com/SIGGRAPH2013/Lighting%20Technology%20of%20The%20Last%20Of%20Us.pdf]

同时也要感谢下工作室大佬的解惑。

目录

  • 一.背景介绍
  • 二.最小二乘降低误差
  • 三.Lightmaps
  • 四.出现的问题和解决方法
  • 五.优化方法
  • 六.结论

一.背景介绍

由于游戏发生在后世界末日,几乎没有电,所以没有人造光源。大部分的光线来自太阳和天空,所以大部分的环境都是由反射光照亮的。

有一个非常强大的艺术方向:我们想展示这个灯光的美丽,它的柔和,它如何在不同表面之间传播,它创造的柔和阴影。我们想显示间接光照的镜面反射高光,并显示用普通的normal map展示细节。

首先展示一下我们想要达到的效果



如图所见,所有的光线都很柔和,但同时表面细节也表现的很到位。

为了实现这样的效果,目前机器性能实时渲染是吃不消的,所以我们使用了预计算的光照贴图。虽然光照贴图应用了这么多年,但是还是存在一些根本性的问题。

二.最小二乘降低误差

接缝:在三维空间中相邻的区域,映射到UV空间中时,可能在不同贴图的相交区域,如果沿分割线做插值的话,不完全匹配就会产生明显的接缝。
(打个比方一个圆柱沿竖线剪开,展uv,竖线2侧在三维空间中可能是连续的,但是uv空间展开之后不连续)

常见解决方法:在运行时,花费额外的开销,去减弱接缝,或者对物体在uv空间中的位置做一些限制。

为什么没有用在The Last Of Us中:美术的体量不匹配,不适合当前的项目,效率低下,成本太高,无法集成到项目的管线中。

我们发现,我们的主要矛盾就是接缝两侧插值不匹配的问题,所以我们通过了修改边缘纹理的强度,来让他们匹配起来

如上图所示的例子,先介绍下概念,绿色和紫色是空间中的2个mesh,红点虚线是分割边,在这个分割边上,取了很多个点,Ci0表示绿色mesh中i点相邻4个像素的 插值, 在紫色mesh中同样有一个点Ci1,如果Ci0 = Ci1 最好,我们把同一个点在相邻mesh上的误差定义为他们的平方差

\[\ C_{i0}= \sum_{j}^{4}{W_{0ij} * T_{0ij}}\]
\[\ C_{i1}= \sum_{j}^{4}{W_{1ij} * T_{1ij}}\]

\[E_i = (C_{i0} - C_{i1})^2 \]

整个光照贴图的误差函数,就是各个点的误差之和。

当有了误差函数之后,使用最小二乘法,把纹理的值作为变量,优化过程,通过修改texel的值,确保误差最小,为了确保最后的结果不偏离最初计算的值,引入了一个约束惩罚计算值的偏离,这个值用户可以调配。

好处

  • 不用对UV布局进行更改
  • 没有额外的运行开销
  • 并且这种方法可以用在其它类型的贴图边缘融合

一些注意事项

  • DXT压缩会打破一些精度,大多数情况看不出来,看起来是正常的,
  • 不要自己写 线性解算器,有一些现成的轮子[Eigen]

额外补充

如果你仔细观察,就会发现,最小二乘最小化,其实在其它很多地方用到过。比如游戏游戏中 3D LUT(Look Up Table,直译过来就是查找表的意思。所以LUT的本质就是输入一个特定的值转化为一个对应的输出值)管线的颜色校正,流程如下

  • 截图
  • 在图片中嵌入问题
  • 在Photoshop中演算
  • 提取LUT
  • 在游戏中,渲染场景,提取LUT

比较的结果可能是,有严重的变色,这时候误差函数被定义为两幅图片中的平方差,通过修改volume texture 使误差最小,会取得一个比较好的结果。
LUT扩展阅读(https://zhuanlan.zhihu.com/p/37717976)

三.Lightmap 新的表达

回到灯光中,我们希望在没有直接光照的情况下,避免表面平坦,所以光照贴图中须要包含光照的方向信息。

我们评估了不同的方案,HL2(半条命)的Radiosity Normal Mapping,用6个方向的vec3来记录光照信息。(https://drivers.amd.com/developer/gdc/D3DTutorial10_Half-Life2_Shading.pdf)。

好处是相比SH(Sphere harmonic),计算量会稍微少点,但是用在曲面上,因为是插值的原因,细节丢失的会多一点。

目前2018年UE4和unity都用上了SH。

最后选择了一个简单的方案,为每个光照贴图 同时存储Ambient(环境光)和Directional(方向光)。

通过使用 “环境光” + ”方向光” 的方案,有几个好处

  • 1.美术能很好的理解 烘焙结果的输出
  • 2.某种意义上方便直接上手调整效果
  • 3.通过主光源的方向信息,可以创作一些额外的效果

对于光照贴图的每个texel纹理,烘焙工具会有光照发布的信息,我们分为2个组件

  • 环境光部分: 为单一颜色,各个方向强度相同
  • 方向光部分: 包含一个反方信息和颜色信息(这里的颜色为,光在方向的强度)

我们通过GI bake 的工具生成了SH(球谐函数sphere harmonics) lightmap,通过这样的方式(环境光+方向光)表示最终的效果。

\[I = C_{amb} + C_{dir} * max((\vec
N,\vec L),0 )\]

通过这种表达方式,还可以表示表面的高光。

四.出现的问题和解决方法

看看效果,感觉还不错。

虽然理想很美好,但是当我们添加了人物之后,有点蹦。


人物看起来很奇怪,为什么呢,因为人物在与环境交互的时候,会产生阴影,看起来是环境的一部分,而上图却没有。

通过查阅一些资料,我们在sh指数化的论文中得到了灵感,用一组球体来近似遮光罩,并通过将它们以一种奇特的方式相乘,结合被描述为sh向量的可见性函数。

问题是要得到满意的阴影,需要高的sh阶。斯蒂芬·希尔在《分裂细胞》中用二阶sh对AO做了类似的事情。

我们的优势

  • 结构简单,只有一个环境光部分和方向光部分,不用关心得到整体的可见性函数,可以分开2个部分的表示
  • 对每个部分,球面上的点,计算遮挡
    • 对于环境光部分,计算单位球在半球面遮挡的cos的加权百分比
    • 对于方向光部分,从目标点往球面创建一个圆锥体,检查光照方向和半球面的交叉点

接下来是一些技术细节

  • 对于环境分量,有一个近似的解决方案,直接计算立体角的cos和整个半球cos的比值
  • 对于方向分量,是哟给你蒙特卡洛进行预计算,对于给定的圆锥叫 theta,将采样区域概率密度 转化到 接受点立体角的概率密度

raytrace one week 第三本 和pbrt14.6章 都有介绍。(https://computergraphics.stackexchange.com/questions/4288/path-weight-for-direct-light-sampling

圆锥的角度是可以调整的,可以让美术来控制阴影边缘的大小,

五.优化方法

使用SPU渲染到缓冲区

先通过使用SPU(主机平台的一种流处理器单元)去渲染阴影到缓冲区,GPU在渲染的时候,从缓冲区中读数据,再最终渲染出结果。

4-5个角色差不多要6-7ms,但是用了这种方法,代理分割到6个SPU单元,2ms就搞定了。

使用低模代理去计算阴影

这样可以很好的提高运算效率,在测试场景中,模型精度讲到1/4,计算得到的阴影基本很难看出区别,非常有效。

六.结论

  • 预计算光照还可以发光发热
  • 一些tricks可以使画面更好
  • 记得使用最小二乘
  • 不要自己写线性解算器

参考文献

  • [Eigen] Eigen library: (http://eigen.tuxfamily.org/index.php?title=Main_Page)
  • [McTaggart2004] "Half-Life 2/Valve Source Shading",Gary McTaggart
  • [Good2005] "P[timized Photon Tracing Using Spherical Harmonic Light Maps", Otavio Good and Zachary Taylor
  • [Ren2006] "Real_time Soft Shadows in Dynamic Scenes using Spherical Harmonic Exponentitaion", Zhong Ren et al.
  • [Sloan2007] "Image-Based Proxy Accumulation for Real-Time Soft Global Illumination", Peter-Pike Sloan et al.
  • [Hill2010] "Rendering with Conviction", Stephen Hill
  • [Oat 2006] "Ambient Aperture Lighting", Christopher Oat and Predro V. Sander

Lighting Techinology of the Last Of Us (2013 SIGGRAPH)的更多相关文章

  1. Filtering Approaches for Real-Time Anti-Aliasing(2011 SIGGRAPH)

    Filtering Approaches for Real-Time Anti-Aliasing(2011 SIGGRAPH) 在2011的SIGGRAPH上,NVIDA提出了FXAA3.1,本文主要 ...

  2. Godaddy主机从购买到开通的详细图文教程(2013年)

    http://bbs.zhujiusa.com/thread-10-1-1.html Godaddy主机从购买到开通的详细图文教程(2013年最新) Godaddy是全球域名注册商中的NO.1,同时也 ...

  3. IT农民的开发人员工具清单(2013年)

    IT行业日新月异,每天都不断变化着.作为一名混迹IT行业小有几个年头码农来说,不仅要时刻提高自身技术,也要不断更新自己开发工具.这些工具都是我吃饭的饭碗.饭碗旧了也是需要买个新的.转眼之间,已到201 ...

  4. Patchwork(2013年)--CNV检测方法流程

    文章题目:Patchwork: allele-specific copy number analysis of whole-genome sequenced tumor tissue 特点: 可以检测 ...

  5. python基础学习(十二)

    模块 前面有简单介绍如何使用import从外部模块获取函数并且为自己的程序所用: >>> import math >>> math.sin(0) #sin为正弦函数 ...

  6. python基础学习笔记(十二)

    模块 前面有简单介绍如何使用import从外部模块获取函数并且为自己的程序所用: >>> import math >>> math.sin(0) #sin为正弦函数 ...

  7. 【Unity Shaders】Diffuse Shading——创建一个自定义的diffuse lighting model(漫反射光照模型)

    本系列主要参考<Unity Shaders and Effects Cookbook>一书(感谢原书作者),同时会加上一点个人理解或拓展. 这里是本书所有的插图.这里是本书所需的代码和资源 ...

  8. Unity Lighting - The Precompute Process 预计算过程(二)

      The Precompute Process 预计算过程 In Unity, precomputed lighting is calculated in the background - eith ...

  9. UVa 11400 - Lighting System Design(线性DP)

    链接: https://uva.onlinejudge.org/index.php?option=com_onlinejudge&Itemid=8&page=show_problem& ...

随机推荐

  1. 使用power designer,PL/SQL,cmd建立oracle数据库

    这一系列操作需要powerDesigner,PL/SQL工具 1.首先使用powerDesigner建立概念模型 2.概念模型界面例子 3.其中建立概念模型操作图标详解 4.建立物理模型 5.生成数据 ...

  2. [HihoCoder-1424] Asa's Chess Problem

    有上下界的费用流 #include <stdio.h> #include <algorithm> #include <queue> #include <cst ...

  3. (三)mysql SQL 基本操作

    文章目录 MySQL服务器对象 mysql 的基本操作 SQL的注释 库操作 表(字段)操作 数据操作 MySQL服务器对象 mysql 服务器对象内部分成了 4 层: 系统(DBMS)----> ...

  4. uva 10325基础容斥

    题目:给你一个数n以及m个数字,问1~n中不能被这m个数字整除的数字的个数. 分析:容斥原理.组合数学.数字1-n中能被a.b整除的数字的个数分别是n/a,n/b: 则1-n中能被a或b整数的数字个数 ...

  5. luogu1018乘积最大--区间DP

    题目链接 https://www.luogu.org/problemnew/show/P1018 分析 这道题套路跟山区建小学差不多,可以先去看看那篇题解 \(f[i][j]\)表示枚举到第\(i\) ...

  6. Makefile中 -I -L -l区别

    我们用gcc编译程序时,可能会用到"-I"(大写i),"-L"(大写l),"-l"(小写l)等参数,下面做个记录: 例: gcc -o he ...

  7. SpringCloud之RabbitMQ安装

    本文介绍Linux以及MAC OS下的RabbitMQ安装及配置: 一.Linux环境下的RabbitMQ安装(CentOS) 1.安装ErLang Erlang(['ə:læŋ])是一种通用的面向并 ...

  8. Spring Cloud(六)服务网关 zuul 快速入门

    服务网关是微服务架构中一个不可或缺的部分.通过服务网关统一向外系统提供REST API的过程中,除了具备服务路由.均衡负载功能之外,它还具备了权限控制等功能.Spring Cloud Netflix中 ...

  9. Short XSS

    Short XSS Crackkay · 2013/08/21 12:17 0x00 背景 关键时候长度不够怎么办? 在实际的情况中如果你不够长怎么办呢?看医生?吃药?做手术?............ ...

  10. Django 开发相关知识 整理

    前言 前端ajax HTTP请求头 ajax上传文件 jsonp跨域 URL 设计 分发 url参数编码 反向生成url 视图 request对象 POST url信息 视图返回值 HttpRespo ...