欢迎添加华为云小助手微信(微信号:HWCloud002HWCloud003),输入关键字“加群”,加入华为云线上技术讨论群;输入关键字“最新活动”,获取华为云最新特惠促销。华为云诸多技术大咖、特惠活动等你来撩

作为战略新兴产业,人工智能已经开始广泛应用于多个领域。近几年,科技公司、互联网公司等各领域的企业纷纷布局自动驾驶。那么,自动驾驶技术究竟发展得如何了?日前,华为云携手上海交通大学创新中心举办的华为云人工智能大赛·无人车挑战杯(以下简称无人车挑战杯大赛)正在如火如荼地进行中。

此次大赛的难点之一在于无人车检测算法的开发。在开发过程中,参赛者需要自行采集交通灯、自动泊车位等图片数据,然后进行数据的预处理、标注,最后完成检测算法的开发并部署至无人车。

面对上述难点,华为云为选手提供了面向开发者的华为云全流程模型生产服务——ModelArts, 为开发者提供全流程的AI开发服务,包括数据准备、算法开发、模型训练、调参优化、模型部署以及AI开发全流程管理等。

01 数据准备

算法开发往往需要用到大量的训练数据。通过调查发现,数据准备和标注需要耗费整体开发50%+的时间。而ModelArts内置AI数据框架,包括数据采集、数据筛选、数据标注、数据集版本管理等功能,同时支持数据半自动化标注,能够大大提升数据准备的效率。

具体来说,ModelArts支持计算机视觉、自然语言处理、音视频等多种AI场景的数据标注,同时提供丰富的标注图形,包括矩形、多边形、圆形、点、直线、虚线等。通过预置算法和用户自定义算法可实现数据的自动标注,然后人工进行仅需少量的手工修正即可。如下图所示,标注人员可通过简单标识后,由工具自动化标识准确信息,如轮廓信息,在特定场景下可提升手工标注效率10倍。

针对无人车检测算法开发的数据准备环节,参赛者首先可以使用无人车上的华为云HiLens Kit摄像头来采集交通灯、泊车位图片数据;然后将采集好的数据上传至OBS桶中,并在ModelArts物体检测标注作业;接下来进行少量的人工标注后,可以启动智能标注;待智能标注完成后再进行人工确认标注结果,即完成了数据的准备工作。

02 算法开发

为降低AI开发门槛和简化开发过程,ModelArts集成了所有主流的AI算法框架,包括TensorFlow、PyTorch、MXNet、Caffe等,同时提供友好的算法开发和调测环境Jupyter Notebook。此外,ModelArts还内置了多种预置算法,可以帮助开发者快速生成模型。

通常,深度学习领域需要大规模的加速计算,这需要大规模GPU集群进行分布式加速。而现有的开源框架需要开发者编写大量代码实现在不同硬件上的分布式训练,而不同框架的加速代码又都不相同。为了解决这些痛点,需要一种轻型的分布式框架或SDK。ModelArts的MoXing构建于TensorFlow、MXNet等框架之上,使得这些计算引擎分布式性能更高、易用性更好。

由于本次大赛无人车检测算法需要在昇腾310芯片运行,因此参赛者需基于Caffe框架来开发交通灯、泊车位的检测算法。为了让参赛者快速熟悉ModelArts、熟悉基于Caffe框架的开发,比赛官方提供了基于Caffe使用SSD算法开发的端到端的基础示例代码。参赛者可准备好数据后,直接在示例代码基础上进行算法的优化,这也大大降低了参赛者的开发门槛。

03 模型训练

一般来说,模型训练的精度与收敛时间都和训练数据量、神经网络层数、模型参数以及硬件资源算力等因素有关。想要训练出一个理想的模型,往往需要反复的调整模型参数,并且经过多次的迭代训练,因此加速模型训练、简化调参难度对于用户来说是尤为重要的。

现在,ModelArts通过级联式混合并行技术等各类优化技术,在同样的模型、数据集和同等硬件资源情况下,使得模型训练耗时降低一半,尤其是大规模集群训练线性加速比达0.8。同时,ModelArts通过模型自动搜索、迁移学习、模型自动选择、超参自动化等协同优化来实现训练自动化。在深度学习模型训练方面,ModelArts将分布式加速层、自动化算法层抽象出来,形成一套通用的框架——MoXing,在自动混合精度训练、动态超参调整基数、模型梯度自动融合拆分等方面都进行了优化。

在斯坦福大学发布的最新结果DAWNBench(An End-to-End Deep Learning Benchmark and Competition),ModelArts在图像识别(ResNet50-on-ImageNet-1K,128V100,93%及以上精度)的训练时间上排名第一,仅需2分43秒。(排名链接:https://dawn.cs.stanford.edu/benchmark/)

在硬件资源方面,ModelArts提供了公共资源池、专属资源池,CPU、GPU(1*P100、1*P4、8*P100、8*V100等)多种实例规格。丰富的、大规模计算资源可满足用户各种训练作业需求。

可以说,无论是在算法优化上,还是在硬件资源上,ModelArts都大大帮助了参赛者快速地开发出无人车检测算法。

04 模型部署

通常,AI要规模化落地,模型的部署会非常复杂,智慧交通就是一个常见的场景。例如,更新模型后,需要一次性将模型同时部署到不同规格、不同厂商的摄像头上,这是一项非常耗时、耗力的巨大工程。而ModelArts不仅支持云上在线推理、批量推理,还支持将模型部署到边缘侧和端侧,满足大并发和分布式等多种场景需求。

本次大赛参赛者就是先在ModelArts平台上开发的无人车检测算法,然后部署到HiLens Kit智能摄像头上。

05 AI开发全流程管理

过去,AI模型的开发和调优需要大量的迭代和调试,数据集、训练代码或模型参数的变化都可能会影响模型的质量,如不能统一管理开发流程元数据,可能会出现无法重现最优模型的现象。现在,ModelArts支持数据集、训练、模型版本管理,可实现千万级的模型、数据集以及服务等对象管理,并且无需人工干预,自动生成溯源图,选择任一模型都可以轻松找到对应的数据集、训练、模型部署。尤其是训练断点接续和训练结果比对,这些实用功能都大大受到AI开发者的好评。

参赛者可借助ModelArts AI可视化全流程管理工具,轻松管理交通灯和泊车位的数据集版本、训练版本、模型版本,进而提高模型优化的效率。

华为云ModelArts不仅能帮助无人车挑战杯大赛参赛者开发AI算法,还能为整个自动驾驶领域提供强力有的支持。目前,ModelArts已助力华为自动驾驶平台,高效管理AI数据处理流程,包括采集、筛选、混合标注和数据溯源,大大缩减了数据处理时间;利用分布式集群训练,提升了模型训练效率。40T原始数据处理从8000人天缩短到80人天,AI模型开发周期从数月缩短到周。

此外,值得一提的是华为云自动驾驶云服务Octopus也正是基于ModelArts,围绕数据和模型,提供端到端的自动驾驶业务,包括数据集、标注、算法、训练、模型。可以预见的是,随着自动驾驶领域的发展,华为云ModelArts将会发挥越来越重要的作用,助力推动汽车产业智能发展。

日前,无人车挑战杯初赛刚刚结束,全国十强战队已经产生,选手们将前往上海,在即将举办2019华为全联接大会上决一胜负。现在,售票通道已开放,登录大会官网即可在线购票,欢迎前往现场观战,一起见证无人车大赛的决赛过程。另外,现场华为云EI开发者展区还有挖宝行动等你来,完成4个展台的客观题,或者是关注HWCloudAI博客,就有机会赢得价值4199元的HiLens大奖!

欢迎添加华为云小助手微信(微信号:HWCloud002HWCloud003),输入关键字“加群”,加入华为云线上技术讨论群;输入关键字“最新活动”,获取华为云最新特惠促销。华为云诸多技术大咖、特惠活动等你来撩

本科阶段就挑战自动驾驶开发?华为云ModelArts帮你轻松实现!的更多相关文章

  1. 自动驾驶轻松开发?华为云ModelArts赋能智慧出行

    作为战略新兴产业,人工智能已经开始广泛应用于多个领域.近几年,科技公司.互联网公司等各领域的企业纷纷布局自动驾驶.那么,自动驾驶技术究竟发展得如何了?日前,华为云携手上海交通大学创新中心举办的华为云人 ...

  2. 线控性能比拼,MKZ与CRV作为自动驾驶开发平台的全面测评

    全球自动驾驶创业公司最主流的测试开发用车是林肯MKZ,这是因为其高性能高精度的线控能力表现,易于使用逆向工程实现改装,以及存在成熟的线控改造服务提供商AS和Dataspeed,共同为自动驾驶初创及辅助 ...

  3. Apollo 自动驾驶开发套件(D-KIT)

    Apollo 自动驾驶开发套件(D-KIT)

  4. 华为云ModelArts 2.0全面升级,革新传统AI开发模式

    [中国,上海,9月20日] 在HUAWEI CONNECT 2019期间,华为云EI服务产品部总经理贾永利宣布--华为云AI重装升级,并重磅发布一站式AI开发管理平台ModelArts 2.0. 现场 ...

  5. 三伏天里小试牛刀andriod 开发 #华为云·寻找黑马程序员#

    2019年07月,北京,三伏天,好热啊.越热自己还越懒得动换(肉身给的信号),但是做为产品经理/交互设计师的,总想着思考些什么(灵魂上给的信号),或者是学习些什么,更有利于将来的职业发展吧,哈哈哈.工 ...

  6. 三伏天里小试牛刀andriod 开发 #华为云·寻找黑马程序员#【华为云技术分享】

    2019年07月,北京,三伏天,好热啊.越热自己还越懒得动换(肉身给的信号),但是做为产品经理/交互设计师的,总想着思考些什么(灵魂上给的信号),或者是学习些什么,更有利于将来的职业发展吧,哈哈哈.工 ...

  7. 华为云MVP熊保松谈物联网开发:华为云IoT是首选,小熊派是神器

    摘要:在AI.5G的技术驱动下,物联网行业的发展愈加如火如荼,开发者在技术的快速更迭间,也得乘风破浪跟上新技术的节奏. 在AI.5G的技术驱动下,物联网行业的发展愈加如火如荼,开发者在技术的快速更迭间 ...

  8. 走近深度学习,认识MoXing:初识华为云ModelArts的王牌利器 — MoXing

    [摘要] 本文为MoXing系列文章第一篇,主要介绍什么是MoXing,MoXing API的优势以及MoXing程序的基本结构. MoXing的概念 MoXing是华为云深度学习服务提供的网络模型开 ...

  9. 华为云ModelArts图深度学习,学习知识还能考取微认证

    作为人工智能最前沿的技术之一,图深度学习被公认是人工智能认识世界实现因果推理的关键,也是深度学习未来发展的方向.但深度学习对图数据模型的支持性差一直是众多研究者难以攻克的难点,因此图深度学习在实际生产 ...

随机推荐

  1. CSPS_108

    二逼出题人写错T1题面&&写伪T3std祭

  2. NOIP模拟测试2-5

    该补一下以前挖的坑了 先总结一下 第二次 T1 搜索+剪枝 #include<cstdio> #include<iostream> #define ll long long u ...

  3. 七月月赛T3

    题目背景 本题时空限制已经扩大 题目描述 人比人,气死人:鱼比鱼,难死鱼.小鱼最近参加了一个“比可爱”比赛,比的是每只鱼的可爱程度.参赛的鱼被从左到右排成一排,头都朝向左边,然后每只鱼会得到一个整数数 ...

  4. [转载]2.9 UiPath中断活动Continue的介绍和使用

    一.Continue的介绍 跳过当前For Each 循环内的迭代, 结束本次循环,Continue控件只能用于For Each循环中 二.Continue在UiPath中结合For Each循环的使 ...

  5. egret Tiledmap编写障碍物的思路

    egret Tiledmap编写障碍物的思路 获取控制对象下一刻移动的坐标,将其转换成瓦片坐标,如果getTileGIDAt(根据瓦片坐标获取瓦片id)的值不为0,说明对象将要移动的位置有障碍物,不做 ...

  6. windows中修改IP映射的位置

    windows中修改IP映射的位置 置顶 2018年08月05日 14:42:44 wangxiaolong0 阅读数:1473   在安装linux之后,发现windows不能通过映射来访问linu ...

  7. SpringMVC错误:Failed to read candidate component class:file... ...

    Failed to read candidate component class:file错误分析和处理 org.springframework.beans.factory.BeanDefinitio ...

  8. 什么情况用ArrayList or LinkedList呢?

    ArrayList 和 LinkedList 是 Java 集合框架中用来存储对象引用列表的两个类.ArrayList 和 LinkedList 都实现 List 接口.先对List做一个简单的了解: ...

  9. java笔试面试第二天

    没想到第二次面试到了第二周,也是我在上海找工作的第二周,说实话,没有真本事找工作是真的难,虽然正在召开的十九大上,大大们纷纷表态国力正盛,经济稳步增长,就业压力逐渐缓解,但是社会终究是社会,要么靠实力 ...

  10. CMDB连接方式

    1.agent agent (放在每台客户端服务器上,定时任务) 脚本演示 # 采集本机的信息 执行命令 import subprocess v1 = subprocess.getoutput('ip ...