OpenNI结合Unity3D Kinect进行体感游戏开发(转)

OpenNI结合Unity3D Kinect进行体感游戏开发(转)

楼主^#

更多 发布于：2012-07-17 16:42

 

 

1. 下载安装Unity3D（目前版本为3.4）
2. 下载OpenNI的Unity3D wrapper（目前版本为0.9.2）:
    a. 地址：http://www.openni.org/Downloads/OpenNIModules.aspx
    b. 按如下选择：

  
  c. 下载完解压后有2个.unitypackage文件 3.
创建新的U3D（Unity3D）工程，导入载好的unitypackage文件，先导入
OpenNIUnityToolkit_0.9.2.unitypackage，再导入NITEExtensions.unitypackage    
这时在工程视图里能看到导入的所有文件 4. 开始熟悉wrapper（资源都在工程视图）     a.
示例游戏：OpenNI-->Sample Scenes-->SingleSkeleton.，运行后能获得一个感性的认识。    
b.
手册：OpenNI-->Documentation-->OpenNIPackageDocumentation，这个手册很重要，此后的
学习都可以根据这个手册来。     c. 创建新的Scene,然后按照手册上的例子自己从零开始创建示例游戏。
这篇手册需要通读的是第一部分：Unity OpenNI Unity Toolkit Overview---> OpenNI Package Overview，包括以下内容：
1. OpenNI Module Main Capabilities  
2. Samples Overview
3. Additional Topics
第一节包含了所有需要理解的东西，第二节是例程讲解，第三节是附加话题。
可以先从第二节开始，边照着创建例程边查阅第一节的相关内容：
a. Single Skeleton Sample
这个例程介绍怎么创建单一角色，包括怎么让Sensor运行起来，怎么让玩家用自己的躯体去控制游戏角色的骨架。
* Single Skeleton Sample
1. 在Unity中创建一个空的scene
2. 往scene里添加object （如果不知道怎么添加：在Project视图中搜索object的名字，然后直接将object拖到Hierarchy视图）
a. 第一个就是OpenNISettings。加了这个后点击运行，正常的话应该可以看到sensor亮了。这个object实现的是驱动sensor，封装了OpenNI相应的函数。
该obejct有3个子项，我们目前只关心"OpenNI configuration"， 选中后在Inspector窗口能看到不同的选项：
Mirror behavior  // 表示是否要将深度数据进行左右镜像。勾上。
XML file // 通过XML 文件来定制一些参数，比如分辨率，帧率，Production Node等；也可以通过XML文件来导入录制好的深度视频，在需要识别特定动作的时候可以用来调试。
Use image generator? // 表示是否需要产生RGB图像。不勾。
Use user and skeleton? // 表示是否需要识别用户和骨骼。勾上。
Smoothing factor  // 滤波参数，暂时用默认值0.5
如果想深入了解这个object，
1）阅读手册里相应的解释：在OpenNI Module Main Capabilities-->Centralized Initialization and Configuration-->OpenNISettings Prefab
2）看脚本代码，有2个脚本：OpenNISettingsManager，NIOpenNISettingsManagerInspector
OpenNISettingsManager
-
主要是接受上面解释的参数，进行初始化和销毁的工作。这里关键的是NIContext，这是一个singleton，在脚本NIContext里。实际上
NIContext就是对OpenNI的context的封装。如果不了解什么是context，可以参阅OpenNI的文档。
NIOpenNISettingsManagerInspector - 主要是实现在Inspector显示相关选项。需要做扩展的时候可以看看。
b.

接着添加NIDepthViewer，这时候运行，就能看到右上角多了一个视窗，里面显示的是深度视频。（注：视频里人的动作是反的，你往左，视频里的自
己往右。如果不勾上上一个object的"Mirror behavior",就不会反了，这里先不理会）有了这个，就能清楚地看到镜头能看到的范围。
c. 再添加NIRadarViewer, 运行，在游戏的左上角能看到"User Radar", 当有用户被检测到的时候，会出现一个红色的方块，方块里面有数字（比如1）代表用户号。
d.

添加角色。这个比较有趣。添加ConstructionWorkerPrefab，然后在Hierarchy中选中这个object，再将鼠标移到
Scene窗口，按”F“键，这时候就可以看到工人模型了。运行，会看到工人模型以校正姿势站在屏幕中间（看起来比较小，以后可以调整）。这时候自己做校
正动作，会看到左上角RadarViewer里的小方块会从红色变成黄色最后变成绿色，绿色就表示校正成功了，但工人模型却没有动起来，因为我们还缺少一
个object，看下一步：
e. 添加NISkeletonPrefab，运行，校正，工人模型驱动起来了！这个object的功能就是实现用户驱动角色。里面包含了2个脚本：
1) NIUsers To Player Mapper: 用来管理user和player之间的映射，实际上很简单，先识别出来的user给分配一个小的player ID。
2)
NISkeleton Users Manager: 用来连接player和skeleton
controller。默认会自动搜索Skeleton
controller，也可以手动指定（在多玩家的场合用得上，比如player1映射到skeleton
controller1，player2映射到skeleton controller2）。skeleton
controller：是用来驱动character的，比如工人模型，你可以在ConstructionWorkerPrefab里找到这个脚本。
总
结起来，NISkeletonPrefab实现了user（玩家）到player（游戏里的玩家）到skeleton
controller（可以control不同的模型）的连接。会有user，player和skeleton
controller的原因：每个use可以驱动不同的player，比如你和朋友一起玩游戏，你和朋友都是user，各自驱动自己的player，而每
个player又可以有不同的外观，就象赛车游戏，你可以选择不同的车型。
想深入了解这个object，同样有2种方法：
1. 看手册：OpenNI Module Main Capabilities-->Skeleton Control-->NISKeletonPrefab
2. 读脚本：NIUsersToPlayerMapper， NISkeletonUsersManager
-------------------------------------------------------------------------------------------
本篇基于最新的wrapper v0.9.7.4（该版本已经不需要做校准姿势）介绍怎么从零开始把自己的人物模型驱动起来，目的是给读者一个能运行的示例，在这过程中不会对概念做过多的解释，详细请参照wrapper的帮助文档。
 
1. 安装Unity3.4
2. 下载v0.9.7.4的wrapper （解压得到的是一个文件：OpenNI_Unity_Toolkit-0.9.7.4.unitypackage）
3. 打开Unity创建一个空的工程
4. 导入OpenNI_Unity_Toolkit-0.9.7.4.unitypackage

• 按默认的，导入全部文件
• 导入后看到如下图所示文件结构

 
5. 导入你自己的人物模型，这里以asset store上的战士模型为例

• 进入asset store（Unity里Ctril+9），当然前提是你注册了账户（免费）
• Asset Store页面的Categories里选择3D Models-->Characters-->Humanoids-->Humans，然后在左侧的列表里选择Soldier Character Pack（免费的）
• 
• 导入Soldier Character Pack
• 
• 导入后看到多了如下文件
• 

6. 加入人物模型

• 将上图文件目录里的soldier直接拖到Hierarchy窗口
• 
• 这时在scene窗口看不到战士模型，先在Hierarchy窗口选中soldier，然后将鼠标移到Scene窗口，按F键，便可看到。
• 
• 这时如果运行游戏，看到的只是静止的战士，摄像头也不会亮
• 

7. 驱动3D摄像头（Kinect或ASUS Xtion Pro，看你用的是什么设备）

• 将Project窗口的OpenNI-->OpenNISettings（如下左图）拖动到Hierarchy窗口（如下右图）
•  
• 这时运行游戏，你会看到3D摄像头亮了，说明设备已经驱动起来了（当然，这一步你必须先插好3D摄像头）
• 为了对设备运行状态有个更直观的认识，这里加入一些辅助的东西将Project窗口的NIIDepthViewer和NIRadarViewer拖到Hierarchy窗口
• 
• 运行游戏，会看到窗口的左上角和右上角分别多了一个小窗
• 
• 左
  边的是NIRadarViewer，显示的是当前是否有人进入摄像头的视野并被识别出来；右边的是NIDepthViewer，显示的是摄像头看到的实际
  场景。这时如果你站在摄像头的视野范围内稍微动一下，就可以被识别出来，同时在Users Radar上面多了一个红色的小方格，方格里面显示数字1.
  小方格显示红色表示用户仅仅是被识别出来了，但还没有开始骨架跟踪；而数字1表示当前用户的ID。当你走动的时候，红色方格也会相应地动。
• 
• 那怎样开始骨架跟踪呢？创建一个空的game object（Unity的菜单GameObject-->Create Empty)，然后在Inspector窗口将其重命名为player manager。
• 
• 然后将脚本NIPlayerManagerCOMSelection拖到player manager
• 
• 在Inspector窗口将Max allowed players改成1
• 
• 这时运行游戏，当你站在摄像头的视野范围内稍微走动的时候，就可以看到Users Radar窗口的小方格是绿色的，这表明算法已经开始跟踪你的骨架了因为这个版本的wrapper封装了比较新的OpenNI，所以这里你不再需要做校准姿势就可以自动跟踪骨架
• 

8. 一切准备工作做好了，现在可以开始驱动人物模型了

• 在Hierarchy窗口选中soldier，将Project窗口的脚本NISkeletonController拖到Inspector
• 
• 拖动过去后会看到弹出一个提示，选continue。
• 
• 这时Inspector窗口是这样的
• 
• 现在开始骨架匹配在Inspector（如上图）的“Joints to control”里选择Head，然后点击最右边的小圆圈，在弹出的“Select Transform”对话框里选择“Head”
• 
• 选好后的情形如下
• 
• 这时点击，会在Hierarchy窗口看到其所在的位置
• 
• 这样战士模型的头就和OpenNI算法识别出来的玩家骨架的头匹配起来了，其它骨架的匹配方法类同，下面是全部匹配好的“Joints to control”截图，可对照其骨架的名字一一匹配。
• 
• 这
  里要说明的是，不同的人物模型对骨架各关节的命名可能不一样，怎么命名无所谓，关键是要找对关节。以这个战士模型为例，见下面两张图，第一张是Left
  Shoulder的位置，第二张是Left Arm的位置，很明显，我们必须选择的肩关节应该是Left Arm而不是Left Shoulder。
• 
• 

骨架匹配好了，现在运行游戏，你会看到在初始状态战士的双手是举起来的

这时如果你出现在摄像头的可见范围内，你会发现战士模型的手脚会跟着你的手脚在动，你转身，战士模型也会转身。这时，你的人物模型已经驱动起来了！
此时你可能会发现一个问题：你走动的时候战士模型并没有跟着移动，请在soldier的Inspector窗口将Update Root Position?勾上，再运行游戏，这时战士模型就会跟着你走动了

9. 现在模型已经完全驱动起来了，为了好看，你可以加入灯光，同时把战士模型放大一些。