VR中为什么需要把游戏音频放在聚光灯里?

本文章由cartzhang编写,转载请注明出处。 所有权利保留。

文章链接:http://blog.csdn.net/cartzhang/article/details/52984767

作者:cartzhang



本文最初发表在Audiokinetic 的博客上面

存在感

人们挂在嘴边来描述VR(虚拟现实)的单词是“沉浸感”。的确是很酷的一个词。然而为实现这终极目标,开发者需要在虚拟现实的环境中模拟身体的知觉,我们称着为存在感。存在是一种心理状态或主观感知,其中,部分或整体个人体验感受是/或是通过人造的科技过滤产生的,部分或整体体验是/或是由在体验中对角色的精确认知导致人为认知衰退造成的。



创造这个级别的真实体验确实是一个挑战。当前的图形比之前几年有了巨大的进步,音频仍然有很长的路要走,以达到其在这个新的和仍在发展的VR领域中发挥主要作用的真正潜力。

在VR游戏中空间包围和多感官应用

在独立和PC游戏中,沉浸感被分为三项:叙事性沉浸(玩家投入到故事中去),战术沉浸(玩家执行涉及到技能的操作)和策略沉浸(更专注,与精力挑战)。然而在VR中,又添加了第四项:空间沉浸,也就是说玩家在人造的世界中对他们来说是真实的。在包括前三项的沉浸感中,当涉及到存在感和提供可信性和沉浸的环境中,空间沉浸变的非常重要。

人为了生理上对自己定位,我们的视觉系统通常被用来帮助身体感觉环境,耳朵提供了关于我们周围环境的重要信息,味觉也同样提供周围信息。



音频在某角度来说比视觉更好,因为不受视觉范围的限制,而是对我们周围环境信息提供了360度的反馈。





为创建真实空间的沉浸感,理想情况下,我们希望可以利用我们的五官,且有全感觉加工处理(在一个环境中有效的使用我们的身体的过程)。问题在于当前阶段的VR开放,我们不可能使用全部的五官感觉。视觉和听觉做为了主要的因素,触觉不是很有效,味觉和气味完全没有用武之地。在这种情况下,听觉也许是我们可以开发的用来“影响”用户大脑的最强大的媒介了,创建一个完整的360度体验,提高空间沉浸,由于它是通过一个虚拟的源通过模拟声学来呈现一个现实的空间(这个在场景中或实际中不是必须的)

360度的体验创建空间沉浸

实现音频增强空间沉浸感的第一步是音频定位。从最近的研究(Skalski & Whitbred, 2010)中出现一个模式表明,在游戏中(环绕立体声)中,更好的音源位置对玩家空间沉浸感和享受的影响比视频质量(高清VS普清)要大的多。



大脑通过我们两只耳朵之间的响度,音调和时间的细微差别来定位声源在三维中的位置(水平,垂直和距离)。在虚拟现实中,玩家确实在场景中间,因此在模拟声音环境中决定声源位置的过程,对创建自然听觉体验音频改进是最重要的。





在媒体史的早起,我们发现人耳第一次双耳录音来拾取三维音频可追溯到1881年。



“双耳录制是一种使用两个麦克风录制声音的方法,旨在为演奏者或乐器的房间中的收听者创建三维立体声感觉。 这种效果通常使用称为“伪人头录音”的技术来创建,其中在人体模型头部每个耳朵中配备有麦克风。“(维基百科,”双耳录音“)

在游戏中,3D音频应该用实时处理的方法来创建,因为我们没有办法预期声音对象的硬广在某个位置,来匹配玩家位置和头部移动。因此在其被发明一个世纪后,现在双耳录音正在被重新使用,且工程师和投资者都正在努力开发适合于VR的最近双耳算法。



而实际上,由于需使用的立体声耳机而不是扬声器来复制3D定位(在VR中将玩家与外部世界隔离是必要的,并且对于视野范围,需要可以匹配相对于头/耳运动的音频回放)的这个特性 ,专业人员逻辑上愿意选择双耳作为3D音频处理的新标准,而不是通常的环绕技术(仅限于水平和距离音频定位)。

总结

在我们使用VR时,有许多音频事情需要挑战、考虑,且需求正在增长。通过进一步的探索,我们将会推动VR和游戏产业的边际。虽然游戏行业一直在提高最新一代优先级的画面质量,伴随这VR的迅速崛起,VR行业迅速的集中到来音频领域,因为VR社区意识到,更好的音频实现会大大增加玩家的享受和参与感,提高沉浸状态,最终提高存在感。



360度的音频定位只是VR开发带来的音频改进的一个直接结果。音频的处理工具也随着VR需求发展也不断发展,新技术及其在混合领域用于VR技术需求方面,以增强VR体验。



音频是行业探索和聚焦的下一个新媒介,VR肯定会让音频成为焦点!

原帖地址:

http://www.gamasutra.com/blogs/AlexRiviere/20161012/283142/Why_VR_will_put_Game_Audio_in_the_Spotlight.php



作者:Audiokinetic

本文同步发布与蛮牛:

http://www.manew.com/thread-96556-1-1.html


若有问题,请随时联系!!

VR中为什么需要把游戏音频放在聚光灯里?的更多相关文章

  1. VR中的“寻路(wayfinding)”

    虚拟现实(VR)中很重要的一个问题就是Locomotion(用户在VR中的移动).这个Locomotion分为两种,一种是点对点的,如传送门的方式,一种是包含了可以操控的中间过程的,这种被称为“导航( ...

  2. VR中射线点击按钮的实现

    VR中实现UI的Button点击,主要是需要实现IPointerClickHandler接口,因为在Unity将所有的按钮操作都封装成了相应的接口,需要相应的功能只需要去实现对应的接口就好了.在这里我 ...

  3. VR中的Redirection

    在虚拟现实(Virtual Reality,VR)中,很重要的一点就是用户的在虚拟环境中的漫游(navigation).除了固定视点的VR电影,一般的VR应用,特别是游戏或者其他交互式的应用,都会依赖 ...

  4. 浅谈html5在vr中的应用

    使用过HTML5制作动画过程的开发者都知道,HTML5页面给人一种逼真的感觉,同时HTML也是可以制作VR页面,但是需要你熟练HTML5与JavaScript开发过程,所以在有必要的情况下,我们可以用 ...

  5. html5-8 如何控制html5中的视频标签和音频标签

    html5-8 如何控制html5中的视频标签和音频标签 一.总结 一句话总结:找到视频或者音频的element对象,然后查手册看对应的方法或者属性就可以,里面有控制的. 1.如何控制html5中的视 ...

  6. 什么是VR中的Locomotion?

    Locomotion,本文中我称之为移位,是VR研究中最重要的话题之一.因为它属于VR中三大元老级操作(Selection选择,Manipulation操纵物体,Locomotion移位),其中,前两 ...

  7. 什么是VR中的vection?

    Vection是VR领域的一个专有名词,其义指“在虚拟现实中给人带来‘移动’(self-motion)感觉的认知因素”1.也就是说,vection就是指那些给玩家带来“我正在这个虚拟环境中移动”这种感 ...

  8. Java中的Date Time 与SQL Server 2005里的Datetime 之间的交互

    Preface Environment:Platform: Windows XPLanguage: Java 1.5IDE: MyEclipse 6.0.1Database: SQL Server 2 ...

  9. iOS中如何实现准确的倒计时程序 · 九十里

    iOS中倒计时程序,考虑线程暂停场景. iOS App进入后台时,GCD线程也会跟着暂停.当程序进入前台后,GCD线程恢复.因而倒计时程序需要考虑这一点,通过加入时间的比对来实现. + (void)c ...

随机推荐

  1. Linux-python的一些小问题

    1.python版本和pip版本 2.PATH和PYTONPATH 1.python版本和pip版本 1.python版本 一般Ubuntu里面都装的不止一个版本的python,比如有python2. ...

  2. UID卡修改&UID锁死修复

    好久没发RFID类文章,最近有小伙伴问到UID卡的问题,在这里就写一写吧. 首先是UID修改的问题,只要卡是UID卡,就都可以修改UID,首先读卡器连接电脑,卡片放到读卡器上. 然后我们要用一个工具, ...

  3. Mysql分表和分区的区别、分库分表介绍与区别(转)

    分表和分区的区别: 一,什么是mysql分表,分区 什么是分表,从表面意思上看呢,就是把一张表分成N多个小表,具体请看:mysql分表的3种方法 什么是分区,分区呢就是把一张表的数据分成N多个区块,这 ...

  4. perl的一些小函数——split、join、sort

    有时候,我们需要将一个字符串或一行文本通过某种方式转换为单个的元素存储在数组中,或者将许多元素通过某种分割符,将他们组合成一个字符串.perl刚好就提供了这样的功能,通过split或者join分割或组 ...

  5. 跨浏览器的事件对象EventUtil

    var EventUtil = function(){ /*--addHandler--*/ addHandler:function(element,type,handler){ if(element ...

  6. C#实现双向链表

    原文:http://www.cnblogs.com/skywang12345/p/3561803.html#a33 没有C#版本的..是不是很方..不过图和说明很好,引用一下 双向链表 双向链表(双链 ...

  7. STM32F103 ucLinux开发之一(BOOT分析及源码)

    STM32F103 ucLinux开发BOOT STM3210E-EVAL官方开发板主芯片STM32F103ZET6: 片内512K Flash,地址0x0800 0000 ~ 0x0807 FFFF ...

  8. 用cookie实现记住用户名和密码

    1.当第一次发送请求时,在jsp页面并不能获取cookie对象,第一次是addCookie,之后再请求时才能获得. session和sessionid在服务器端生成的时候,同时把sessionID放在 ...

  9. Oracle中order by case 用法

    select * from ly_familyinformation ' ' order by case when relation = '购房人/申请人' then when relation = ...

  10. windows安装多个版本的jdk,解决java-version和javac-version版本不一致的问题

    系统先装了jdk1.8 ,环境变量里配置的是jdk1.8,java -version 与javac -version 版本一致. 然后安装了jdk1.6 ,环境变量java_home 改成了1.6,但 ...