“洞察千里”，华为云HiLens如何让无人车智行天下

作者：华为云 Rosie

随着人工智能的普及和渗透，“无人”的场景越来越丰富，无人超市、无人车、无人机等已经融入我们的生活。

乘着这股热浪，华为云携手上海交通大学学生创新中心举办了华为云人工智能大赛——无人车挑战杯。而此次大赛用的正是华为云人工智能平台：华为云一站式AI开发平台ModelArts和视觉AI应用开发平台Huawei HiLens（以下简称HiLens），无人车的设计由上海交通大学提供，旨为全面锻炼和提高赛队的AI解决方案能力及无人驾驶编程技巧。然而，无人车是怎么搭载华为云HiLens实现智能行驶的呢？下面就来解密这背后的黑科技。

ModelArts与HiLens是什么关系？

Modelarts是云侧面向AI开发者的一站式开发平台，提供数据预处理、半自动化标注、大规模分布式训练、自动化模型生成等能力。而HiLens是一站式AI应用开发、分发、部署的端云协同管理平台，并提供开放的AI技能市场，支持海量设备管理、动态应用部署、在线训练、端侧模型优化等端云协同能力。既然是端云协同，少不了端侧设备，随着HiLens平台发布的同时，华为还发布了一款具备AI推理能力的摄像机——HiLens Kit，构建“云-端-芯”的人工智能生态。参赛者在Modelarts平台训练好模型，再将模型导入HiLens平台进行技能开发，然后一键式部署到HiLens Kit推理，实现“云-边-端”一体化流程，大大提高开发效率。

对于开发者来说，模型部署到端侧设备，需要考虑的不仅是芯片（CPU/GPU）、内存、网络带宽和稳定性等各种设备规格在内的开发问题，海量设备管理和维护的问题，还有业务和安全的问题。而HiLens平台和设备的出现，提供了一套完整可靠的全栈端云协同解决方案。在无人车中，HiLens Kit主要提供AI分析和ROS控制的能力，实现小车基于深度学习算法模拟实际场景的识别和控制。

HiLens与无人车的设计图

华为云人工智能大赛——无人车挑战杯选手用车

无人车搭载华为云HiLens带来哪些优势？

1. 端云协同

开发者可基于华为ModelArts AI开发平台训练算法模型，通过HiLens平台做技能开发并部署到HiLens Kit推理。在本次大赛中，参赛者运用华为云ModelArts平台训练好各类算法模型，然后把模型导入HiLens平台进行业务逻辑编写，完成技能开发，并将技能一键式部署到HiLens Kit，快速实现红绿灯识别、行人避障、线路识别、目标跟随等自动驾驶功能。对于参赛者来说，只需简单四步：创建模型、导入模型、创建技能、部署技能，最快10分钟即可定制符合交通场景需求的技能，并部署到任意已注册的端侧设备运行，后期还能通过HiLens技能管理平台一键实现端侧设备的技能升级和卸载。这样实现了从云到端的一体化，降低了参赛者训练时间和算法移植成本，提高了效率。

2. 端侧设备HiLens Kit

这是为HiLens平台打造的一款支持推理的智能摄像头，专用于开发者做端云协同的视觉应用开发。（1）超强的算力，内置华为自研Ascend 310 AI芯片（16TOPS INT8 算力），可以实现1秒百帧的处理能力，毫秒级人脸检测；超强处理能力可同时支持高达16路1080P视频分析；同时，内置轻量级容器，具备资源占用少、降低网络带宽、下载启动时间快等特性。让参赛者任性的开发更多复杂交通场景的算法而不用担心内存和算力的限制。（2）丰富的接口，包括USB接口、视频接口、音频接口、网口、WIFI、SD卡等提供了开发的便利，实现多模态交互。（3）可靠的管理，HiLens提供的端云连接持续可靠的通信组件，使端侧设备对于与云侧仅有间歇性连接或者无连接的场景，也具备制定决策的能力，在未连接网络的情况下也能保持设备状态。

3. 内置技能开发框架Skill Framework

为了简化技能开发流程，HiLens提供了自研端侧技能开发框架Skill Framework，通过封装底层接口、实现常用的管理功能，让参赛者可以在Huawei HiLens管理控制台上方便的开发Skill，培育AI生态。具体如下：

（1）提供易用的开发组件，Skill Framework封装了视频分析算法的基础组件，如底层多媒体处理库（摄像头/麦克风驱动模块Media_mini）、Ascend 310芯片相关的图像处理库（DVPP）和模型管理库（ModelManager）等，提供了技能推理平台、视频管理、外部接口管理等能力，开发者只需少量代码即可开发自己的技能。

（2）结合芯片性能优化，针对AI算法中比较耗时的计算单元，结合海思芯片架构进行优化，内置NPU专用硬件加速单元，与CPU处理AI运算相比，拥有约50倍能效和25倍性能优势，使计算性能得到极大提升。

（3）技能移植，在HiLens平台上开发的Skill可以运行到任何基于华为海思芯片的设备上。因底层封装了系统平台适配层，且基于HiAI Engine自适配底层芯片，可无缝对接端侧设备，让开发者无需操心底层硬件的适配和系统平台的兼容问题，使开发更容易上手。

（4）提供Python和C++接口，同时支持两种语言接口，参赛者可根据场景和开发习惯使用不同语言的接口。

4. 在线更新技能

训练并开发后的技能可远程下载发布，使比赛更具有实时性。HiLens管理平台提供技能管理功能，包括技能部署、停止和卸载，开发者优化后的技能，可在平台一键式部署更新，高效而快速，避免了传统的算法更新依赖固件更新周期长成本高的限制。

5. 自动模型转换

云侧开发框架丰富多样， 开发者可根据喜好选择TensorFlow、MXNet、Caffe等，然后将训练好的模型导入HiLens平台通过模型转换功能，能够自动转换成适配端侧昇腾310芯片的OM框架模型，而参赛者只需提供三个文件：原始模型文件、网络结构文件和转换文件.cfg（cfg需参赛者简单配置参数生成），这样参赛者不用有云侧框架与端侧设备不兼容的顾虑，从而降低学习成本。

6. 自动数据采集

参赛者可利用HiLens Kit实现自动数据采集并上传到云端进行训练。为了更好的优化模型，少不了成千上万的真实数据，而开发者可通过HiLens Kit快速而实时地采集实际场景的数据，例如红绿灯识别照片和视频、路线照片等，传回云侧利用Modelarts针对性训练，提高模型精度，同时极大降低数据采集时间，实现设备的在线自动学习与更新。

另外，Huawei HiLens也提供具有丰富技能的技能市场，可以让开发者将自己开发好的技能一键发布到技能市场供其他人使用、购买。同时，华为也将在技能市场发布多项技能，针对家庭、园区、车载等不同场景，覆盖物体检测、动作识别、语音识别等多种应用，供开发者和企业使用。为的就是打造一个全民用AI会AI的生态。

基于HiLens独有的优势和能力，无人车挑战杯的参赛者可以结合“云-端-芯”的场景挖掘和探索更多复杂的场景，智行天下，为我们的生活带来更多的便利。未来，是智能的世界，人们对人工智能在不同行业和领域的探索也会越来越深入、越来越紧密，而Huawei HiLens给视觉AI领域提供了最可靠的端云协同能力和最高效的AI应用开发平台。

日前，无人车挑战杯初赛刚刚结束，全国十强战队已经产生，选手们将前往上海，在即将举办2019华为全联接大会上一决雌雄，现在售票通道已开放，登录大会官网即可在线购票，欢迎现场观战，一起见证无人车大赛的决赛过程。

欢迎添加华为云小助手微信（微信号：HWCloud002 或 HWCloud003），输入关键字“加群”，加入华为云线上技术讨论群；输入关键字“最新活动”，获取华为云最新特惠促销。华为云诸多技术大咖、特惠活动等你来撩！