手势是HoloLens三个首要输入形式之一.一旦你使用凝视定位了一个全息图像,手势允许你与它交互.手势输入允许你使用手或者点击器原生地与全息图像交互. 手势之外,你也可以在应用中使用语音输入来交互. 手势识别 Hand recognition HoloLens通过追踪手来实现手势识别.HoloLens能够明白手什么时候准备好了(竖起食指手背面向脸)或者点击(手背向脸食指点下).当手处于其他姿势时,HoloLens将会忽略它们. HoloLens在设备前方的锥形范围内追踪手部运动,这片区域被称为手…

语音是HoloLens三大重要输入形式之一.它允许你直接通过语言控制全息图像,而不用借助手势.你只要凝视全息图像然后说出语音命令即可.语音输入是自然的交互方式,它能够很好的改善复杂的交互,因为通过一条语音命令即可以减少很多复杂的UI菜单. HoloLens语音输入是由同UWP应用一样的语音识别引擎支持. 选中命令 The "select" command 即使没有特地为应用添加语音命令特性,用户还是能够通过说:“select”来简单地激活你的全息图像.这个行为和用手或点击器点击类似.你…

虽然HoloLens支持很多种输入方式,包括蓝牙键盘在内.但是大部分应用还是不能断定用户有物理键盘可以输入,所以虚拟键盘输入还是必须要提供的. Unity提供了一个TouchScreenKeyboard类用于在没有物理键盘时接受虚拟键盘的输入. HoloLens system keyboard behavior in Unity 在Unity中HoloLens系统键盘的做法 HoloLens上 TouchScreenKeyboard 使用的就是系统虚拟键盘.系统键盘不能出现在立体视图的顶部,所以…

开发HoloLens全息应用将使用UWP平台(Universal Windows Platform),所有的HoloLens应用都是Win10通用应用,所有UWP通用应用都可以在HoloLens上运行.通过Windows 10和Unity这样的中间工具,我们可以现在开始构建全息应用的体验. 全息开发基础 Basics of a holographic development 为了尽可能实现全息场景,Windows暴露了一系列全新的特性给开发者.对混合现实全息应用来说,涉及到6个基础构建领域. 世…

手势识别是HoloLens交互的重要输入方法之一.HoloLens提供了底层API和高层API,可以满足不同的手势定制需求.底层API能够获取手的位置和速度信息,高层API则借助手势识别器来识别预设的手势(包括,单击.双击.长按.平移等等). 手势输入 Gesture Input 本部分为高级API使用,通过输入源来识别手势.每个手势对应一个SourceKind输入源,大部分手势事件都是系统预设的事件,有些事件会提供额外的上下文信息. 只需要很少的步骤就能使用GestureRecognizer集…

千呼万唤始出来,终于今天拿到了HoloLens真机. 使用体验 使用自带的应用录制了一段使用视频,如下 设备概览 包装盒 本体 试戴 实际效果 GalaxyExplorer试玩 全息图像贴到现实场景表面 优点 宣传视频中的核心特性均已具备,而且正如前几天发出的<HoloLens开发手记-硬件细节 Hardware Detail>一文内容,HoloLens硬件细节均一致. 硬件性能略有提升,比西雅图时试用的体验机流畅了很多 修复了频繁重启的bug,发热略有降低 场景匹配流畅,准确率高 更多细节仍…

Windows设备控制台允许你通过Wi-Fi或USB来远程控制你的HoloLens设备.设备控制台是HoloLens上的一个Web Server,你可以通过PC的浏览器来连接到它.设备控制台包含了很多帮助你管理.调试和优化HoloLens设备的工具. 设置HoloLens以使用Windows设备控制台 Setting up HoloLens to use Windows Device Portal 打开HoloLens,并穿戴上 使用绽开手势打开开始菜单 选中设置应用,在你放置它以后会自动启动…

首先下载HoloLens模拟器 HoloLens模拟器运行在没有真机的情况下在你的PC上测试应用,属于HoloLens开发工具系列.模拟器使用了Hyper-V虚拟机.通常通过传感器获取的人体和环境输入通过键盘.鼠标或者Xbox手柄来模拟.应用不用修改即可运行在HoloLens模拟器上,它们也不知道它们没有在真实设备上运行. 部署应用到HoloLens模拟器上 Deploying apps to the HoloLens emulator 在Visual Studio 2015里载入应用解决方案…

测试HoloLens应用的做法和测试Windows应用很类似.所有常规的内容都应该被考虑在内(功能.互操作性.性能.安全性.可靠性等等),然而有些特性是HoloLens特有的,在PC或者手机上无法测试的.全息应用需要能够在一系列多样的环境中顺畅地运行,同时也需要时刻保持性能稳定和较好的用户舒适度.本文主要讨论这方面的内容. 性能 Performance 性能表现对于全息应用来讲至关重要,这直接影响到用户体验,我们会用大幅篇幅来讨论这个主题.更多内容请阅读: performance recomme…

HoloLens使用Universal Windows Platform (UWP)提供的应用模型.UWP应用模型定义了应用如何被安全和完全地安装.更新.版本控制和移除.它管理了应用生命周期 - 应用如何被执行.休眠和中断 - 以及如何保留应用状态.它也覆盖了和操作系统.文件以及其他应用的集成和交互. 应用生命周期 App lifecycle 全息应用的生命周期涉及到了标准应用的概念,例如放置.启动.中断和移除. 放置就是启动 Placement is launch 每一个应用都通过放置应用磁贴…

HoloLens提供了通过蓝牙使用配件的能力.使用附件两种常见情况是用来点击手势和虚拟键盘.对本文来讲,两个最常见的配件就是HoloLens Clicker(点击器)和蓝牙键盘.HoloLens包含了一个蓝牙4.1射频器,同时支持蓝牙HID和蓝牙GATT配置文件. 配对蓝牙附件 Pairing bluetooth accessories HoloLens配对一个蓝牙外围设备的体验和在Windows 10桌面和移动端配对类似: 从开始菜单,进入设置 前往设备菜单 如果蓝牙是关闭的,则打开蓝牙开关…

微软HoloLens是世界第一款完全无线缆的全息计算机.通过在新方式上赋予用户的全息体验,HoloLens重新定义了个人计算(Personal Computing).为了将3D全息图形固定到你周围的真实世界中,HoloLens融合了最先进的光学元件和传感器. 设备规格 Device Specifications 光学元件 全息透视镜(波导的) 2个高清(HD)光线引擎 自动瞳孔距离校准 全息分辨率:总共2百3万个光点 全息密度:大于2.5k个辐射点(每单位弧度的光点数量) 传感器 1个惯性测量单…

对于HoloLens,语音输入是三大基本输入方式之一,广泛地运用在各种交互中.HoloLens上语音输入有三种形式,分别是: 语音命令 Voice Command 听写 Diction 语法识别 Grammar Recognition 语音命令 Voice Command 对于做过Windows Phone或许Windows Store应用开发的人来说,语音命令是经常使用到的特性.开发者可以通过为应用设定关键词,和对应的行为,来为用户提供语音命令体验.当用户说出关键词时,预设的动作就会被调用.在…

Unity Technical Preview for HoloLens最新发行版为:Beta 24,发布于 09/07/2016 开始使用Unity开发HoloLens应用之前,确保你已经安装好了必要的工具,包括Unity HoloLens Technical Preview.Unity HoloLens Technical Preview是基于Unity 5.4 Beta版本来构建的,记得定期检查版本更新. 使用Unity是构建HoloLens全息应用最快的方式.推荐你花点时间来学习Unit…

HoloLens可以让我们在真实世界中看到全息图像内容.但是它本质上还是一台Windows 10设备,这意味着HoloLens可以以2D应用形式运行Windows Store里的大部分UWP应用. 目标平台设为Windows.Universal Targeting Windows.Universal 微软过去几年平台一直在变革,所以开发者往往会有不同的起点,所以下面会给出一些指南,来帮助不同起点的开发者顺利的迁移代码带UWP平台上. 不同的起点 Starting Points 这几年大家接触的W…

伴随着数月的期待,终于拿到了预订的HoloLens开发者版本套件.随着VR/AR/MR技术的热潮,国内外均对它们的应用与盈利前景持有积极的预期,这也直接导致了国内外当前投资VR/AR/MR技术的热潮.无论是融资数十亿美元的Magic Leap,还是Facebook.微软等科技巨头布局VR/AR市场,这股热潮不仅出现在风险投资领域,还席卷了消费者市场和智能硬件市场,这无疑引领了下一波互联网产业的爆发,而我们作为技术核心的开发者更不能落下.正如乔帮主所说:“Stay foolish,Stay Hun…

不论你是否使用DirectX或Unity来开发全息应用,你都会使用Visual Studio 2015来进行调试和部署应用.在本部分,你将会学习以下内容: 如何通过Visual Studio将你的应用部署到HoloLens上 Visual Studio 2015如何使用内置的HoloLens模拟器 如何去调试全息应用 先决条件 Prerequisites 安装好开发工具 对于2D应用,在Visual Studio 2015 Update 1及更高版本中创建一个UWP项目.或者开始使用Unity来…

运行在HoloLens上的应用可能包含2种视图,分别是全息视图和2D视图.应用可以在全息视图和2D视图之间转换,这常被用于访问系统提供的接口,例如虚拟键盘.拥有至少一个全息视图的应用被归类为全息应用.不包含任何全息视图的应用则是2D应用. 全息视图 Holographic views 全息视图给予你在周边世界中创建全息图像的能力.当一个应用在全息视图中正在绘制时,同一时刻不会有其他应用也在绘制--来自多个应用的全息图像是互相不合成的.通过不断调整视角,使得你的应用渲染它的场景能够匹配用户头部的移…

在全息应用中,凝视是第一种输入形式,被用于定位物体(功能和PC的光标指针类似).凝视告诉你用户正在看向世界中的位置,让你能够确定他们的意图.在现实世界中,你通常会盯着你打算与之交互的物体.这种方式与凝视相同. HoloLens使用用户头部的位置和方向,而不是眼睛,来确定他们视线参数.你可以把凝视当作从用户两眼之间向正前方发射的一个激光指示器.当用户环视房间时,你的应用可以通过线的相交来确定用户当前正在看向世界中哪些虚拟或真实物体. 在HoloLens,交互动作一般从用户的凝视中推导出目标对象,而…

关于Vuforia,开发AR应用的人基本都会熟悉.之前我也写过一篇关于Vuforia开发的博客:Vuforia AR SDK入门 今天这篇博客则主要是谈谈HoloLens使用Vuforia开发混合现实内容. Vuforia为HoloLens带来了重要的能力 - 将AR体验应用到环境中的特定图像和物体. 您可以使用此功能在机械顶部叠加引导的逐步说明,或向物理产品添加数字功能.对于企业开发者 - 您可以使用VuMark做很多事情,从使用唯一标识标记工厂车间里的每台机器 - 到序列号. VuMarks…

凝视是HoloLens首要输入方式,形式功能类似于桌面系统的光标,用于选择操作全息对象.然而在Unity中并没有明确的Gaze API或者组件. 实现Gaze Implementing Gaze 概念上来说,Gaze是通过用户头部两眼之间发出一条向前方的射线来实现的,射线可以识别它所碰撞的物体.在Unity中,使用Main Camera来表示用户头部的位置和朝向.准确的说,是指 UnityEngine.Camera.main.transform.forward 和 UnityEngine.Cam…

本文主要讨论如何在Unity项目中集成空间映射功能.Unity内置了对空间映射功能的支持,通过以下两种方式提供给开发者: HoloToolkit项目中你可以找到空间映射组件,这可以让你便捷快速地开始使用空间映射特性. Unity还提供更多底层的空间映射API,以便开发者能够完全控制空间映射特性,满足定制复杂的应用需求 为了在应用使用空间映射特性,你必须在应用权限清单中启用SpatialPerception能力. Setting the SpatialPerception capability 设…

Enabling the capability for Photo Video Camera 启用相机能力 为了使用摄像头,我们必须启用WebCam能力. 在Unity中打开Player settings 展开Windows Store标签页 在"Publishing Settings > Capabilities"部分勾选WebCam能力 同一时刻只能执行一次相机操作.为了识别当前相机处在哪种模式下(拍照还是视频),你可以通过UnityEngine.VR.WSA.WebCam.…

本文主要提及一份问题清单,这些问题都可能对我们开发HoloLens应用造成困扰. Visual Studio 在使用VS 2015 Update 1连接HoloLens时,可能会有些小问题.但是这些小问题在Update 2里被修复了,推荐大家都使用Visual Studio 2015 Update 2. "DEP0001 : Unexpected Error: -2145615869" - 如果在调试完设备后重启它,再次调试的时候可能会看到这个错误.反正我经常碰到... 一旦碰到这个错…

Vuforia在6.1版本的Unity SDK里实现了对HoloLens的支持. 查看 Developing for Windows 10 in Unity 这篇文章来了解如何配置Unity和Visual Studio的Windows 10开发环境. 了解Unity中Vuforia HoloLens项目结构的最好方式就是通过学习官方提供的示例项目,点此下载Unity HoloLens sample. 示例项目是一个完整的HoloLens Unity项目,里面包含了Vuforia SDK和预先配置…

微软前两天发布了HoloLens 2,给MR开发带来了新的希望,全面的性能和显示效果提升,让人期待. 去年推出的预览版的全新SpectatorView for iOS解决方案,这允许我们直接使用带ARKit的iOS设备实现HoloLens MR场景的共享,以及第三方观察视角,对于演示也是非常方便好用的.效果如下: 本篇文章主要介绍一下怎么将配置好的SpectatorView Unity项目部署到iPhone上. 配置Unity场景 打开已配置好的Unity3D场景,选中SpectatorView…

HoloLens给了用户混合真实世界和数字世界的体验.混合现实捕捉(MRC)使得你可以保存这种体验到图片或者视频.这使得你可以分享你的体验给其他人,这允许他们能看到和你所看到一样的全息图像.这些视频和图片来自第一人称视角. 使用混合现实捕捉的案例的影响超越了在社交圈分享视频.视频可以用于指导其他人怎样去使用一个应用.开发者可以使用视频或者截图来提高步骤重现和调试应用的体验. 拍摄混合现实内容 Taking mixed reality captures 有3种方式来初始化一个混合现实捕获场景: 不…

使用HoloLens时,shell是由你周围的世界和来自系统的全息图像构成.我们将这种空间成为混合世界(mixed world). shell包含了一个可以让你将全息图像和应用放置在世界中的开始菜单(Start Menu).当一个应用已经被放置在世界中后,它将要么作为2D应用要么以3D模型的形式展现.这个资源将会始终停留在它的位置上,即使你离开房间再回来,或者关闭设备再打开.这个特性被称为全息持久( hologram persistence).这个资源被放置的位置通常被用来启动应用. 开始菜单…

随着Build 2016开发者大会的结束,HoloLens开发包也正式开放下载.Hololens没有独立的SDK,开发特性被集成到最新的Visual Studio Update 2中.如果你没有HoloLens真机,那么可以安装HoloLens模拟器. 安装清单 下载和安装 注意事项 Visual Studio 2015 Update 3 安装时确保勾选 Tools (1.4) and Windows 10 SDK (10.0.10586) HoloLens Emulator (build 10…

HoloLens使我们可以通过周边世界的光线和声音来创建全息场景和物体,使得它们像真实物体那样.全息场景能够响应你的凝视.手势和语音指令,同时还会和你周边世界的表面交互.借助全息场景,你可以在周边世界创建数码物体. 光线声音构建的全息场景 A hologram is made of light and sound HoloLens渲染的全息场景会直接出现在用户的眼前,全息场景会投射光线到你的世界,这意味着你同时会看到来自显示器的光线和环境光.HoloLens不会从你的眼睛移除光线,所以无法使用黑…