AI专家一席谈:复用算法、模型、案例,AI Gallery带你快速上手应用开发
摘要: 华为云社区邀请到了AI Gallery的负责人严博,听他谈一谈AI Gallery的设计初衷、经典案例以及未来规划。
本文分享自华为云社区《AI专家一席谈:复用算法、模型、案例,AI Gallery带你快速上手应用开发》,作者:华为云社区精选 。
你见过哪些有趣又实用的AI开发案例呢?
比如让静态照片上的人物开口唱歌,动漫角色也可以哦;再比如通过识别各类野生动物并分析种群结构,进而实施保护;又或者智能检测口罩佩戴的规范性,助力疫情防护……
这些场景化的AI案例,都可以在华为云AI Gallery上找到对应的模型,通过不断训练,你也可以实现。AI Gallery上拥有算法、模型、数据、Notebook等丰富而优质的AI资产, 开发者可以直接复用这些资产,解决AI应用开发的难题。
纵观AI应用的整个开发流程,从数据采集、标注,到算法模型的构建,每个环节都会产生许多可以复用的AI资产,而AI Gallery的目的就是充分发挥这些资产的效用,提高AI开发效率。
那么,它是如何汇聚这些AI资产,又是如何让资产效用最大化地帮助到开发者高效的进行AI开发呢?
华为云社区邀请到了AI Gallery的负责人严博士,听他谈一谈AI Gallery的设计初衷、经典案例以及未来规划。
人工智能有三驾马车:数据、算法、算力。从这三点看,当前的AI应用开发进入到了什么阶段?
人工智能是人类在不断探索和发展一个领域,因为事先没有定义好有哪些阶段,所以很难回答我们当前处在哪个阶段。但是有一个很明显的感知,人工智能发展比10年之前有显著的进步,大量应用也越来越多。
这个契机是2012年以深度学习为代表的一类算法得到突破。 在此之前,大家更关注的是算法,大家都是在用数据降维和一些分类器的方案去做机器学习相关的AI开发,训练的数据体量也很小。
在2012年的契机点上,有了算力的加持,再通过算法和大量的数据迭代,我们看到AI开发模型的精度有了量级的提升。 随着这个量级提升之后,它能够在更多的行业和领域去应用AI技术来提高生产力。
但是,当前这个阶段人工智能还不能像人类那样,可以通过少量数据的学习获得逻辑推演能力。人工智能本质上还是通过大量的数据进行拟合和迭代,让它能够“记住”数据再去做一些推理,但它并不具备逻辑推演能力。不过,相比过去10年,AI最终的准确率已经有了提升,它的应用领域也进一步拓展。
往后展望,我们还会在算力上有进一步的突破,再加上整个算法和数据的加持,最终能训练出精度更高,甚至是像人类那样能够获得逻辑推演能力的AI。
一个完整的AI应用开发流程包括哪些环节,其中的挑战是什么?
一般是三个流程。
第一个环节是数据准备, 需要采集数据,对数据进行清洗,转换的工作。每一个环节都有自己的挑战。以数据为例,采集阶段会有政策法律上的限制,数据孤岛很难被打破。另外还要对数据进行有效的标注,这需要大量的人力才能完成,经济成本较高。
第二个阶段是建模, 基于准备好的数据,选择合适的算法,开发相关的模型。要考虑训练出来的模型的应用场景。比如AI应用是放在移动端上的,还是放在云端服务器上,这两者对推理的时延、准确率的要求都是不同的。因此AI开发的建模过程,要综合理解AI应用的场景,再去选择合适的算法工艺架构。它和只追求精度或者推理速度的学术领域不一样,我们需综合考虑,所以挑战比较高。
第三个阶段是基于模型来进行具体的AI应用的开发, 它围绕具体的应用场景,配合开发一些IT系统、软件、UI交互等。比如算法工程师负责建模开发,到了应用开发阶段可能是由应用工程师承担,它的角色是变换的。作为应用开发工程师,收到的是已经开发完的模型,但这个模型推理的时延和精度可能都达不到理想状态。这个时候就要通过压缩,蒸馏的技术进一步优化它。如果精度达不到,还得考虑最终这个应用是否能够通过一些巧妙设计来规避这些问题。
AI Gallery是不是为了解决上述环节中的一些问题?它的设计初衷是什么?
现在很多开发流程都是平台化的,AI开发的每个阶段都会产生一些数字资产:算法、模型、数据集,可能还有一些处理的函数、方法之类的。我们希望有一个地方能够把这些东西都沉淀和积累下来,以方便后续的开发者复用之前的一些成果, 这也是我们设计AI Gallery的初衷。
当越来越多的开发者分享各种场景下的AI资产,AI Gallery可以包含全场景各种精度的实验,这时其他开发者也能根据最终的开发场景直接拿来即用这些资产。
打个比方,AI开发的三个阶段可能是由不同角色介入的,如果应用工程师想介入到AI开发中,但又缺少相应的数据和算法工程师该怎么办?AI Gallery里就有训练好的模型,应用工程师拿来即用就可以了。从这个角度来看,它可以提高整体的开发效率。
开发者选择算法或者模型首要考量是什么?在这一点上,AI Gallery是如何应对的?
如果是选数据的话,一般是基于它的行业和领域场景,看有没有合适的数据,这个是跟领域和行业强相关的。当前我们提供了数据的分享的机制,有很多开发者已经共享了开源标准场景的数据集,来供大家在ModelArts上快速地验证自己的想法。
算法方面,开发者首要考量的是算法最后产生的模型是不是自己想要的,以及算法在训练时的输入数据格式,训练所需的开销、运行算法的环境等等。
模型方面,先要明确应用开发是部署在云上、边缘侧,还是端侧,这对于最后的应用场景很重要。其次是推理的时延,诸如医疗场景的数据会很大,它的推理就是异步的,但有些场景要求的是实时推理,可能对推理响应的时间要求很高。最后是精度,要评估应用场景对精度的敏感度。
综上,在AI开发的每一个阶段,都有很多需要考虑的指标、量纲。我们要做的就是把这些量纲和指标准化出来,能够让发布AI资产的开发者填写这些指标,方便使用的人去浏览、筛选和检索,快速找到他想要的东西。
AI Gallery有哪些经典案例可以给开发者介绍一下?
对于视觉领域的一些经典算法如YOLO、ResNet50,官方已经做了大量的适配,但这些算法其实没有沉淀到这个领域和行业里面的。因此我们基于内部的一些项目,也去做了一些AI的实践案例。比如说水表读数,安全帽检测等等。这些案例可能是使用同一个具体的算法,但是应用在不同的领域和行业场景。
后续会让我们的伙伴、高校的老师、开发者一起来分享他们的案例,这样,其他的开发者也能通过阅读这些案例快速的复现,加速整个端到端的开发。
在此也为大家推荐一些AI Gallery上的经典案例:
安全帽检测、水表读数识别、工地场景的钢筋盘点、使用PPO算法玩超级马里奥兄弟、与中国象棋AI对战。
像工业安全帽检测、水表读数,都是基于华为在行业内的一些项目沉淀出来的案例。这些案例生产的模型可以达到工业级的要求,它可以直接部署使用。唯一的区别是数据,当前我们只提供一个样例的数据,如果大家能够采集到更多更好的数据,训练出来的模型精度也会非常不错。
在AI Gallery发布AI资产后,开发者能享受到什么权益?
对于ISV伙伴来说,AI Gallery是和华为云云市场打通的,因此他们可以上架云市场,商业售卖资产模型,直接获得商业利益。
对于开发者来说,当前更多的是个人成就和荣誉的提升。后续我们也在积极的引入个人开发者计划,让普通的个人开发者去参与到整个项目之中,真正地进入到实战环节,既能获得实践的锻炼,也能够得到经济上的回报。
AI Gallery是如何助力普惠AI的?
一是资产和案例的积累。 当前已经有很多开发者在AI Gallery上贡献主流的开源数据集,其他人直接验证算法时可以拿来即用。在算法和模型方面,官方也已经把很多常用算法做了预集成。高校也在将一些经典论文的算法发布到AI Gallery分享。
二是分享机制。 开发者可以把算法和模型分享到AI Gallery,然后我们正在尝试采取一些激励的机制,让他们更有动力分享。
三是针对端到端的案例场景,我们上线了案例库。 当前案例虽然还不是很多,但后续华为官方以及ISV、伙伴、个人开发者会陆续将开发和交付的项目案例总结发布进来,让广大开发者通过学习这些案例来加速应用开发过程。
AI Gallery的未来规划是怎样的?
第一个方向是加速行业和企业的AI应用落地。 首先就是通过资产沉淀提高AI开发效率。其次是我们正在做项目的需求广场,以及开发者的认证机制,通过减少开发环节的链路,让更多的开发者和伙伴通过AI Gallery开发和交付AI项目,最终帮助行业和企业解决问题,加速应用的落地。
另一个方向主要是面向学习教育的场景。 现在我们基于大量的算力和数据去做迭代式的训练和开发,但很多高校的硬件可能跟不上,需要在云上进行教学实践。所以面向教育行业,面向个人开发者学习的场景,我们也打算做一些事情,包括教学课程,论文解读等等。
最终我们希望把这两条线打通,既能提供教学培训、学习的一站式解决方案,也能够让开发者把学习到的知识通过真实的交付场景实践出来。
AI专家一席谈:复用算法、模型、案例,AI Gallery带你快速上手应用开发的更多相关文章
- StartDT AI Lab | 视觉智能引擎之算法模型加速
通过StartDT AI Lab专栏之前多篇文章叙述,相信大家已经对计算机视觉技术及人工智能算法在奇点云AIOT战略中的支撑作用有了很好的理解.同样,这种业务牵引,技术覆盖的模式也收获了市场的良好反响 ...
- 阿里开源新一代 AI 算法模型,由达摩院90后科学家研发
最炫的技术新知.最热门的大咖公开课.最有趣的开发者活动.最实用的工具干货,就在<开发者必读>! 每日集成开发者社区精品内容,你身边的技术资讯管家. 每日头条 阿里开源新一代 AI 算法模型 ...
- TensorFlow从1到2(一)续讲从锅炉工到AI专家
引言 原来引用过一个段子,这里还要再引用一次.是关于苹果的.大意是,苹果发布了新的开发语言Swift,有非常多优秀的特征,于是很多时髦的程序员入坑学习.不料,经过一段头脑体操一般的勤学苦练,发现使用S ...
- 浅谈分词算法(5)基于字的分词方法(bi-LSTM)
目录 前言 目录 循环神经网络 基于LSTM的分词 Embedding 数据预处理 模型 如何添加用户词典 前言 很早便规划的浅谈分词算法,总共分为了五个部分,想聊聊自己在各种场景中使用到的分词方法做 ...
- 华为高级研究员谢凌曦:下一代AI将走向何方?盘古大模型探路之旅
摘要:为了更深入理解千亿参数的盘古大模型,华为云社区采访到了华为云EI盘古团队高级研究员谢凌曦.谢博士以非常通俗的方式为我们娓娓道来了盘古大模型研发的"前世今生",以及它背后的艰难 ...
- 从锅炉工到AI专家(4)
手写数字识别问题 图像识别是深度学习众多主流应用之一,手写数字识别则是图像识别范畴简化版的入门学习经典案例.在TensorFlow的官方文档中,把手写数字识别"MNIST"案例称为 ...
- 浅谈分词算法(4)基于字的分词方法(CRF)
目录 前言 目录 条件随机场(conditional random field CRF) 核心点 线性链条件随机场 简化形式 CRF分词 CRF VS HMM 代码实现 训练代码 实验结果 参考文献 ...
- 浅谈分词算法(3)基于字的分词方法(HMM)
目录 前言 目录 隐马尔可夫模型(Hidden Markov Model,HMM) HMM分词 两个假设 Viterbi算法 代码实现 实现效果 完整代码 参考文献 前言 在浅谈分词算法(1)分词中的 ...
- 浅谈分词算法基于字的分词方法(HMM)
前言 在浅谈分词算法(1)分词中的基本问题我们讨论过基于词典的分词和基于字的分词两大类,在浅谈分词算法(2)基于词典的分词方法文中我们利用n-gram实现了基于词典的分词方法.在(1)中,我们也讨论了 ...
- 从锅炉工到AI专家 ---- 系列教程
TensorFlow从1到2(十二)生成对抗网络GAN和图片自动生成 那些令人惊艳的TensorFlow扩展包和社区贡献模型 从锅炉工到AI专家(11)(END) 从锅炉工到AI专家(10) 从锅 ...
随机推荐
- 【羚珑AI智绘营】分分钟带你拿捏SD中的色彩控制
导言 颜色控制一直是AIGC的难点,prompt会污染.img2img太随机- 今天带来利用controlnet,实现对画面颜色的有效控制.都说AIGC是抽卡,但对把它作为工具而非玩具的设计师,必须掌 ...
- ceph的应用
创建 CephFS 文件系统 MDS 接口 -------------------- 创建 CephFS 文件系统 MDS 接口 -------------------- //服务端操作 1)在管理节 ...
- List 切割成小 list 分批处理数据
使用 Google Guava 库中的方法对 bmList 进行分割. Lists.partition() 方法用于将一个列表按指定大小进行分割,返回一个包含分割后子列表的新列表. 在这个例子中,bm ...
- webservice soap hessian
http://www.blogjava.net/freeman1984/archive/2010/01/20/310198.html http://www.cnblogs.com/JeffreySun ...
- postgresql 最近优化的SQL集合案例、(不写过程了只记录案例,PG优化器问题还是不少)
案例1: -- 原SQL + 执行计划: explain analyze SELECT G.PID, G.FLOW_ID, G.STATUS, G.ID, AAAAAA.INFO_ID, G.CREA ...
- C.C++作用域和static用法
C++ 变量根据定义的位置的不同的生命周期,具有不同的作用域,作用域可分为 6 种:全局作用域,局部作用域,语句作用域,类作用域,命名空间作用域和文件作用域. 从作用域看: 全局变量具有全局作用域.全 ...
- Video教程介绍(开篇)
教程简介 本文将简单描述视频网站教程,视频网站是一个类似于腾讯视频一样的网站,视频资源用户自己上传,然后提供友好的界面查看视频和搜索视频,并且提供管理页面对于视频进行管理,我们将使用Blazor作为前 ...
- 实例讲解C++连接各种数据库,包含SQL Server、MySQL、Oracle、ACCESS、SQLite 和 PostgreSQL、MongoDB 数据库
C++ 是一种通用的编程语言,可以使用不同的库和驱动程序来连接各种数据库.以下是一些示例代码,演示如何使用 C++ 连接 SQL Server.MySQL.Oracle.ACCESS.SQLite 和 ...
- HTML中的常用的特殊字符以及所有特殊字符
## HTML常用特殊字符以下是HTML中常用的特殊符号及其编码: | 特殊符号 | 编码 | 描述 || --- | --- | --- || `<` | `<` | 小于号 | ...
- 【UniApp】-uni-app-路由
前言 好,经过上个章节的介绍完毕之后,了解了一下 uni-app-CompositionAPI应用生命周期和页面生命周期 那么了解完了uni-app-CompositionAPI应用生命周期和页面生命 ...