华为云MVP高浩:打破AI开发瓶颈,解决数据、算法、算力三大难题
摘要:在高浩看来,大量的数字蓝领人才和AI应用开发人员构成了当前AI行业发展人才之基,这也为高校学生就业初期从事的工作指明了方向,而华为ModelArts平台在教育领域有着天然的数据、算法优势,非常适合AI教学。
高浩,华为云MVP,南京航空航天大学硕士毕业,曾就职于某研究所集团公司。先后从事大数据开发与数据挖掘工作,擅长机器学习和数据分析。现任江苏知途教育科技有限公司人工智能课程研发负责人,“1+X” 计算机视觉应用开发认证(初级,中级)副主编,高级认证讲师。
从人工智能被写入政府工作报告,到如今高校遍地开花的人工智能专业,AI作为下一阶段科学变革浪潮的新引擎,正在渗透到各行各业,当行业进入高速发展期,市场对高端人才的需求和依赖性也随之攀升。
高浩一直从事大数据开发与数据挖掘工作,擅长机器学习和数据分析,现在担任江苏某教育科技公司的人工智能课程研发负责人。
在他看来,大量的数字蓝领人才和AI应用开发人员构成了当前AI行业发展人才之基,这也为高校学生就业初期从事的工作指明了方向,而华为ModelArts平台在教育领域有着天然的数据、算法优势,非常适合AI教学。
为什么选择ModelArts?
AI应用的开发非常复杂,主要体现在开发流程冗长、烦琐,包括数据准备、算法开发、模型开发、应用生成、部署和维护等多个环节,链路很长,每个环节都需要大量人力和计算资源的投入。
AI开发需要的实验环境或者平台资源昂贵,传统的实践教学体系与市场岗位、企业项目脱、产业发展、以及个人职业发展脱节。
除此之外,AI的三个关键要素:算法、算力和数据,一方面推动了AI技术的应用落地,但也提高了学习上手的门槛。
考虑到这些难题,高浩在调研了多家厂商的开发平台后,最终选择了一站式AI开发平台ModelArts。“算法可以采用平台中已有的通用算法,缩短建立时间,降低技术人员的入门门槛。算力可以根据按需方式租用GPU服务器,降低研究的前期投入。”
高浩表示,ModelArts的教学指南非常完整,它系统地介绍了AI应用开发全流程及其子流程,包括数据准备、算法选择和开发、模型训练、评估和调优等,以及人工智能应用开发场景化实践。
通过一整套工具链和方法传递,每个开发者都可以借助ModelArts在具体业务场景下更快、更高效、更低成本地开发AI应用,从而更好地解决实际问题。高浩认为,这样从教学实施角度上也更有普适指导意义。
为了进一步阐释ModelArts的易用性,高浩详细演示了一个基于ModelArts和HiLens的云、边、端协同的AI应用开发案例。
快速上手ModelArts
ModelArts 的“一站式”体现在它囊括了AI开发的各个环节,包括数据处理、算法开发、模型训练、模型部署等等,而且面向不同经验的开发者,提供相匹配的使用流程。
内容方面,ModelArts支持图像分类、图像检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。功能方面,它支持从数据处理到算法开发、训练、部署、开发流程管理等多种功能。如下图所示:
其中,核心部分主要包括数据处理和模型的管理。
1、数据的处理
在ModelArts中,我们都是以数据集为数据基础,进行模型开发或训练等操作的。创建数据集前需要获取访问OBS的权限。
目前,ModelArts支持如下9种类型的数据集,包含图片、音频、文本和其他类别:
• 图像分类
• 物体检测
• 声音分类
• 语音内容
• 语音分割
• 文本分类
• 命名实体
• 文本三元组
• 自由格式
针对创建好的数据集,可以执行标注数据、发布、版本管理、修改、导入和删除等操作。
以图像分类为例,只需要给图片添加相应的标签即完成标注。物理检测的话,则需要在图片中使用标注框来框出标注对象,并打上标签,其余与图像分类相似。
此处强调一下命名实体数据集,命名实体场景是针对文本中的实体片段进行标注,如“时间”、“地点”等。与文本分类不同的是,它需对片段进行标注,而不是全文。
文本三元组标注则适用于标注语句当中形如(主语/Subject,谓词/Predicate,宾语/Object)结构化知识的场景,标注时不但可以标注出语句当中的实体,还可以标注出实体之间的关系,其在依存句法分析、信息抽取等自然语言处理任务中经常用到。
声音方面,主要是根据播放内容,在 “语音内容”文本框中填写音频内容,完成标注。
2、模型训练管理
数据处理完成后,接下来就是模型的训练。ModelArts可以基于不同的数据选择不同规格的资源池(CPU或GPU),根据用户选择的数据量和资源不同,模型训练通常耗时几分钟到几十分钟不等。
同时,ModelArts也支持查看模型训练的情况并及时调整模型参数。
除支持用户自己开发的模型外,ModelArts还提供了AI市场算法,开发者能直接使用已有的算法,再通过简单的调参得到一个满意的模型。
模型训练之后,ModelArts模型管理可导入所有训练版本生成的模型,统一管理迭代和调试的模型,同时它还支持从模板、容器镜像以及OBS等场景导入模型,方便模型的部署上线。
另外,ModelArts提供了模型转换功能,可以将已有的模型转换成所需格式,以便应用于算力和性能更高的芯片上。举个例子,用Tensorflow框架训练的模型,使用转换功能可转换成om格式,即可在昇腾芯片上部署运行。
端侧看HiLens,让AI应用快速落地
学会用ModelArts做好模型训练后,端侧的开发平台HiLens可以让AI应用落地更简单,高浩也谈了谈他使用HiLens的感受。
HiLens是端云协同多模态AI开发应用平台,它提供简单易用的开发框架、开箱即用的开发环境、丰富的AI技能市场和云上管理平台,对接多种端侧计算设备如HiLens Kit,支持视觉及听觉AI应用开发、AI应用在线部署、海量设备管理等。
高浩表示,购买HiLens Kit的普通用户如果需要快速安装技能到设备,使其具备AI能力,可以到技能市场购买技能,基本流程如下:
对于具备编程能力的用户,也可以选择自己创建技能。
购买或者创建好技能后,就是对其进行部署,具体可以前往数据管理查看技能效果。
基于HiLens,高浩准备开发了一个检测施工现场作业人员是否佩戴安全帽的应用。
他在创建好相对应的技能后,使用HDMI视频线连接HiLens Kit视频输出端口和显示器,然后点击后台管理中的启动技能,当状态变为“运行中”,表明技能成功运行在端侧设备上。
最后应用的结果如下:
总的来说,开发这样一个检测工地施工安全的应用其实很简单,先用云端的ModelArts进行数据处理和模型训练,然后再借助HiLens将模型部署到端侧,最后就能得到一个可以落地的AI应用。
本文分享自华为云社区《【智能时代,AI无处不在】华为云MVP高浩:打破AI开发瓶颈,解决数据、算法、算力三大难题》,原文作者:我们都是云专家。
华为云MVP高浩:打破AI开发瓶颈,解决数据、算法、算力三大难题的更多相关文章
- 华为云MVP熊保松谈物联网开发:华为云IoT是首选,小熊派是神器
摘要:在AI.5G的技术驱动下,物联网行业的发展愈加如火如荼,开发者在技术的快速更迭间,也得乘风破浪跟上新技术的节奏. 在AI.5G的技术驱动下,物联网行业的发展愈加如火如荼,开发者在技术的快速更迭间 ...
- HUAWEI HiAI亮相华为开发者生态大会 助力应用AI开发实现加速度
6月23日,在2018华为终端·全球合作伙伴及开发者大会AI分论坛体验区的一角,被层层叠叠的人群围得水泄不通.站在最前面的一名体验者,正跟随着“快手短视频”APP上不断出现的小人左右扭动,每完成一个动 ...
- 华为云Volcano:让企业AI算力像火山一样爆发
欢迎添加华为云小助手微信(微信号:HWCloud002 或 HWCloud003),输入关键字"加群",加入华为云线上技术讨论群:输入关键字"最新活动",获取华 ...
- 华为云MVP:来自工业制造领域的微服务与云平台实践
[摘要] 首先,和大家先聊聊的是为什么微服务.DevOps和云计算会在各个产业大行其道;其次,再谈谈微服务架构设计有那些自己独特的设计思想,和传统的SOA有什么区别;最后,我们再一起看一看在工业领域云 ...
- 华为云垃圾分类大赛,让AI 帮你“见圾行事”
[摘要] "你是什么垃圾"已经out了,我们来看0看谁是垃圾之王?! 当各位听说深圳实行垃圾分类政策时,是不是虎躯一震,每天焦虑得想搬家? -稳住,别慌! 救兵来啦 华为云人工智能 ...
- php结合redis高并发下,悲观锁解决数据二次写入
悲观锁 在悲观锁的情况下,为了保证事务的隔离性,就须要一致性锁定读.读取数据时给加锁,其他事务无法改动这些数据.改动删除数据时也要加锁,其他事务无法读取这些数据. 在做数据缓存的时候,通常都是把数据从 ...
- AI如何驱动软件开发?华为云DevCloud 权威专家邀你探讨
近期,国际著名咨询公司Gartner 在一份研究报告中将 "AI-Driven Development" 列为 2019 年的 Top 10 Strategic Technolog ...
- 实际体验华为云AI : ModelArts
国庆前看到了博客园官方博客发布的一篇博客: 学AI有奖:博客园&华为云AI有奖训练营开战啦 本着对AI这种火热的话题,以及华为云博客园联名公仔(次要),我决定参与这个活动. 现在华为云开始全面 ...
- 华为云 AI 实战营计划,带你迈上 AI 之路
当今,AI的开发人才需求呈现极大的供需不平衡.所有开发者都关心,要如何从一名开发者晋升为AI开发者?AI开发能力,是主要的进入障碍.不用慌,华为云推出了 <华为云ModelArts-Lab AI ...
- 华为云实战开发】5.如何快速创建免费Git代码仓库【华为云技术分享】
1 文章目的 本文主要帮助已经掌握或者想要掌握Git的开发者,如何更好的应用Git,以及更好的将Git与DevCloud结合应用. 2 概述 2.1 版本控制系统介绍 从狭义上来说,版本控制系统是软件 ...
随机推荐
- P3870 [TJOI2009] 开关(线段树)
P3870 [TJOI2009] 开关 思路:可以用线段树来维护区间中亮灯的个数,区间修改用加上懒标记就好 #include <bits/stdc++.h> #define LL long ...
- HTTP工具类文件request.js的完善和优化
request.js 在现代前端项目中通常被称为一个HTTP请求工具或HTTP工具类文件.它的主要作用是对项目中用到的HTTP请求进行统一的配置和处理. 应用示例: // 查询用户列表 export ...
- postgresql 最近优化的SQL集合案例、(不写过程了只记录案例,PG优化器问题还是不少)
案例1: -- 原SQL + 执行计划: explain analyze SELECT G.PID, G.FLOW_ID, G.STATUS, G.ID, AAAAAA.INFO_ID, G.CREA ...
- Ubuntu 20.04 查看显示器信息
安装 ddcutil apt install ddcutil 输入命令 ddcutil detect --verbose 输出类似如下: Output level: Verbose Reporting ...
- 计算机网络之防火墙和Wlan配置
一.防火墙 防火墙(firewall)是一种安全设备,它的位置一般处于企业网络边界与外网交界的地方,用于隔离不信任的数据包 准确点讲,它就是隔离外网和内网的一道屏障,用于保护内部资源信息安全的一种策略 ...
- 潜在威胁信息模型(PTIM)-Potential threats Information Modeling
前言 这只是一位学识浅薄博主的一个突然想法,还望各位专业领域的专家教授轻怼 潜在威胁信息模型 目前的想法是通过全城摄像头建立城市的潜在威胁信息模型,这个潜在威胁可以包括:天气灾害(冰雹.雾霾能见度等) ...
- 从管易云到MySQL通过接口配置打通数据
从管易云到MySQL通过接口配置打通数据 数据源平台:管易云 管易云是金蝶旗下专注提供电商企业管理软件服务的子品牌,先后开发了C-ERP.EC-OMS.EC-WMS.E店管家.BBC.B2B.B2C商 ...
- 【Javaweb】关于html转成jsp时出现乱码的问题解决
原因是没有在代码头部添加,下面这段代码,添加之后就解决了 <%@ page language="java" contentType="text/html; char ...
- JavaWeb项目练习(学生选课管理系统)二【新建数据库】
思路 1.页面美化css这部分,挖个坑,我打算做好一点所以先空着.× 2.需要做四个数据表(学生.教师.管理员.课程) 关联: 学生有个人课表 教师有教授课程和个人课表 管理员有全部权限(关联所有数据 ...
- PX4环境安装
1.安装ROS 利用鱼香ros一键安装: wget http://fishros.com/install -O fishros && . fishros 调用的命令为: roscore ...