技术沙龙|原来落地AI应用是这么回事儿！

目前人工智能已经迈入应用落地之年，作为备受关注的话题，在重磅政策的加持下市场规模迅速扩大并渗透到各行各业的形势越发鲜明。在此背景下，作为国内不容忽视的创新企业之一，京东AI依托于NeuHub平台对数据、算法以及应用场景的精准判断，走出了以业务场景驱动AI技术的发展之路，并结合京东云的技术支撑能力，提供包括工具、SaaS等一站式服务和应用在内的、端到端集成且不同场景的创新产品与解决方案，以此满足多维度需求。

前不久刚刚结束的京东云技术沙龙活动中，多位来自京东云以及京东AI的技术大咖们面对面就产创云平台、DevOps 开发测试实践、企业智能化供应链建设以及AI模型开发赋能零售场景等在内的多个角度进行了深入探讨，其中干货满满。

此外，现场超百位开发者热情参与了交流与互动，尤其对AI模型开发、企业智能化供应链建设等诸多技术领域十分关注。想必这些探讨也将为与此相关的从业者们提供借鉴与新思路，十分值得广大开发者们认真学习与总结！

“产业创新云”作为基于京东自有的人工智能、物联网、云计算等技术能力，围绕容器、开发测试流水线以及微服务等云原生技术构建的一站式支撑平台意义重大。今年京东云将智能产业创新聚焦重庆，将京东云区域总部落户在南岸，并正式发布“产业创新云”。

在整个产业创新过程中，传统企业转型升级的关键是技术和人才，面对技术、人才、资源与渠道日渐突出的瓶颈，京东云的产创云平台让创新创业企业充分利用京东的先进技术，来培养自己的人才，以升级环节中遇到的困境。产创云从全云化的技术架构上提供了IaaS资源、PaaS平台以及SaaS应用，并将京东自研的区块链、AI、IoT相关技术整合在此，开发者可以基于这些相关技术，通过SDK在平台上开发属于自己的产品。

除此之外，产创云还围绕产业链的研、产、供、销、服五个阶段，通过产品创新、产业孵化、产业加速、规模销售，还有持续运营、可循环等几个方面来助力创新企业发展，打造智能产业集群。

具体来说，关于产创云平台的实践操作，用户都可以登录完成注册，然后联系有关工作人员获得使用权限。在平台之上，提供了容器能力，主要包括一键式创建Kubernetes集群服务，管理节点全托管以及工作节点组可定制等，在创建集群的过程中还提供了按需分配，其中工作节点可以做到按照自身要求支持自由扩展等。

据悉，在产创云的平台架构设计上，京东云设计了三个中心，主要包括应用生态汇聚中心、城市技术能力中心、应用共享服务中心，围绕软件的生命周期，从软件前期需求、设计再到测试，进而拓展到部署层面。，支撑企业在平台上完成智能城市、工业制造、智慧民生等行业应用的开发和运行。

此外，为了帮助企业节约开发、测试、部署的时间，保障完成持续集成和部署的工作，京东云设计了基于容器的CI/CD的开发测试流水线，借助Kubernetes集群服务，创建以容器为单位的开发测试部署流程，简化了环境搭建的步骤，提高了资源利用效率和开发测试部署的速度，并同时降低了迁移成本。

如今身处科技大爆炸的时代，新技术不再以线性方式增长而是以指数方式提升，带来各种新服务的同时继而也会引发各种新需求。在以云计算、大数据、人工智能、物联网、信息安全、为代表的五项核心技术中，云计算在数字经济时代中承担了整个产业的操作系统角色，可以被认为是一切资源、能力、基础和连接的业务平台。五大技术相互融合，共同推动数字新经济的高速度高质量发展。在此趋势下，京东作为一家以零售为基础的技术与服务企业，坚定地朝着向技术转型，致力于打造一个包括智能零售、智能金融、智能保险、智能城市、智能医疗等在内的全球领先的智能商业体。

京东的超级电商基因成就了超级云，超级云反过来又辅助超级电商。在此基础上，依托于集团泛零售的丰富场景、洞察能力和技术沉淀，京东将具有产业属性的AI能力全盘输出。

智慧零售

京东智慧零售分为线上零售和线下零售两种场景。其中线上零售主要围绕京东商城，包括以图搜图、拍照购、AI审核、智能客服等方案。其中智能客服作为京东表现突出的线上场景，提供了一整套解决方案，主要涵盖人工客服的智能处理、后台的各种客服大脑、大数据分析等一系列服务。

有调查显示：客户发起一次客服活动时，有超过46%的客户并不希望通过系统提示，进行一步步地操作，反而更希望通过一句话描述问题或需求。京东智能客服实现的方法是首先要进行前台的预判，通过描述事情的严重程度和类型，结合客户本身的资料，以及购物的数据，智能客服会进行预判，决定把你分到人工客服还是AI辅助，还是完全AI客户。2019年京东在线客服机器人，月均独立解决725万通咨询，仅在618当天在线机器人独立解决132万通咨询。这极大提高了用户的体验，也提升了企业业务效率。

一直以来，智能供应链是零售企业的核心，决定了企业的竞争能力。传统模式下，采销人员要依靠数据和自身的经验来完成商品选择、采购计划制定、价格制定、库存管理等复杂工作。在引入智能供应链以前，进行线下配货、定价，还有仓库的安排往往都是非常依赖有经验的配货人员。

但如今随着电商规模的迅速扩大，如果不能进行精准高效的供应链管理，不仅会降低零售企业的竞争力，更会造成包括上游制造企业在内的行业效率降低。京东从消费者洞察作为原点，借助大数据和人工智能技术的应用，融合过去14年的零售经验积累，与各方合作伙伴一起，打造敏捷、智慧、开放的智能零售供应链。

线下零售场景以智慧门店为例，通过线下门店实现智能会员购物。智慧门店有三大核心模块，分别是智能导购，会员营销和智能会员结算。智能导购：通过人脸识别会员、会员进店后主动向导购推送，内容包含会员资料、会员标签等可供导购参考信息。会员营销：精准营销推送促销信息、优惠券、会员关怀信息等，提升会员体验和消费转化率。智能会员结算：会员无需提供手机号或会员卡，自动识别会员信息并按会员权益进行结算或积分。通过这套线下智慧场景，客户从进门就开始享受到全方位的智能服务。

智能物流

京东的智能物流是一个完整体系，无人仓解决进货、拣货、包装等环节，无人车主攻城市环境下的最后一公里配送，无人机则锁定乡村配送。无人仓作为全新一代智能物流技术，其核心特色体现为数据感知、机器人融入和算法指导生产，可以全面改变目前仓储的运行模式，极大提升效率并降低人力消耗。从商品入库、存储拣货、包装、分拣、装车的环节都无需人力参与，搬运机器人成了无人仓的主角。京东于2017年在上海打造中小型无人仓，单仓的产能超过20万单；2018年进入无人仓设备的常态化和规模化应用的一年，大量的智慧化设备在物流的仓库开始应用。作为全新一代智能物流技术，无人仓其核心特色体现为数据感知、机器人融入和算法指导生产，可以全面改变目前仓储的运行模式，极大提升效率并降低人力消耗。

除此之外京东还拥有多场景的无人智能产品，如末端配送机器人、巡检机器人、干支线自动驾驶货车、服务机器人等。作为智慧物流体系的重要一环，末端的京东配送机器人自2017年在人大、清华、浙大、长安几所高校就开始进行配送实验，未来还会在全国各地的封闭式园区、校园，以及类似于生态城这种开放式的城市道路配送，解决城市配送最后一公里难题。

智能金融

京东智能金融服务主要将传统的风控体系智能化，依托庞大的用户和交易量数据以及关联外部合作伙伴洞察资源，在注册、登录、营销、交易等多个核心场景建立标签和策略，其全魔方产品能够实现对申请欺诈、信用欺诈、账户盗用、洗钱、羊毛党、虚假交易及黑产等行为的防范。

智能医疗

在智能医疗方面，京东与多个高校合作推出医疗分诊和医疗知识图谱。其中线上分诊覆盖28个科室，准确率高达99%以上，医学知识图谱主要是为合理用药和药学教育提供了支撑。在京东互联网医院上，已实现了导诊、医生匹配、咨询、开药的闭环服务，智能分诊准确率高达96%。

总结来看，京东AI发展不是纸上谈兵，与其他的AI厂商比较，最大的区别在于应用场景大部分是自身使用完备再推出使用。京东云在底层提供技术资源的支撑，然后把合作伙伴能力向外赋能，服务于各类行业。京东云作为京东能力对外输出的一个重要出口，未来还会输出大数据、区块链、物联网、安全等多重能力，毕竟未来AI与云的结合是必然，因为只有AI与云相结合才能形成真正的普惠。

国际供应链管理专家马丁·克里斯多夫20年前预言：“未来的竞争不是个体或组织之间的竞争，而是供应链与供应链之间的竞争。”人工智能作为新一轮产业变革的核心驱动力，也因此催生了传统供应链走向智能供应链这样的趋势。

所谓智能供应链和传统的快递分类其实大有不同，主要被区分上中下游，呈网状而非一条单独的直线（从产品到物流），主要分四个阶段分别是可视化阶段、预测分析、规范化以及自我学习等。据观察，现在大部分企业基本停留在第一个阶段，也就是可视化，甚至更关注端对端的可视化展现。

经常有人会问，为什么京东可以做智能供应链呢？关于这个问题从京东人工智能事业部高级产品经理张云星的分享中得到了答案。AI、大数据、云计算是技术基础，智能设备则是硬件载体。具备技术之后，自然需要有人去做进一步工作，最后将技术应用到场景中去。京东擅长零售，而零售、物流、金融三部分刚好是在智能供应链中的几个重要环节。

具体来说：在基础层方面，京东云主要提供关于基础的一些能力，例如计算、存储等算力资源，并且需要有大量数据资源训练使得平台更加智能。除这两块之外还需要有算法，涵盖自然语言处理、语音语义、计算机视觉等技术所对应不同的算法资源。基于算力、数据、算法三方面的资源，京东Neuhub平台提供了一系列工具让AI变得更聪明。例如人工智能从数据管理开始到模型训练以及再到模型部署，变成一种能力，这是一整套模型开发工具的输出。从模型开发工具训练出来的能力如人脸识别、语音识别等，已经接入到京东云上，并且以API的方式向外赋能。在能力层之上就是场景层，主要分为两个：一个是生产，一个是流通。平台将AI能力提供给独立开发者或第三方合作伙伴后，接收方将这些能力进行二次开发，生成一个新的产品或新的能力。

关于智能平台能力，通常可以理解为一部分是通过海量数据训练完成的能力，可以随时调用，还有一部分能力是作用在模型开发平台上。一般模型开发平台包含了几个要素，从数据标注开始，再到模型开发，跑通数据以及检查模型是否为预期等。如果能力比较好，就可以做到将能力发布成一个服务，进一步使用。

以NeuFoundry神铸平台为例，作为京东丰富场景的的最佳实践，NeuFoundry提供从数据标注-模型开发-模型训练-模型评估-模型发布的一站式人工智能开发平台，提升AI开发的效率、降低开发成本、加速企业AI人才建设。平台不仅支持图像类、文本类深度学习，还支持机器学习，比如销量预测等。仅仅如此还是不足够的，还会通过预设模型来进行海量数据训练，使得智能供应链更为智能聪明。

另外NeuFoundry神铸平台还会为不同类型的开发者提供多种交互方式，如针对对算法比较精通的算法工程师提供算法任务提交和Jupyter NoteBook方式，同时对业务很精通的业务开发人员，提供通过图形化拖拽或者自动化训练方式实现根据业务数据训练出定制化AI模型。举几个京东AI平台赋能智能供应链落地案例。第一个典型应用是消费场景，消费环节是供应链的驱动源头，将消费场景与人工智能技术结合，实现三类智能化：精准营销、智能交易、门店智能化。

第二个典型应用是流通场景，通过人工智能技术为供应链流通赋能，实现四类智能化：仓储智能分析和行为管控、协调仓储、预测及流程优化和智能外呼降本增效。举个例子，在仓储场景中，有许多需要分捡的作业，如果采用人工，速度缓慢且成本高。而利用视觉分拣机器人可以实现效率的大幅度提升。通过京东AI平台向生态伙伴悉见提供人脸识别、商品识别、视觉识别等开放能力，赋能智能物流场景，打造的AI+AR智能供应链解决方案。

第三个典型应用是在生产场景。通过C2B智能平台具备用户洞察、反向定制、精准营销及市场洞察等能力，助力商家提升产品转化率和市场份额。

一般常见的模型开发过程是数据标注，模型训练，模型部署几个流程，而在具体业务部门，或者行业领域中，可以增加业务需求、技术选型、模型匹配等环节，这些是日常业务团队的必要步骤。首先需要确定一个方向，针对业务需求进行技术选型，之后进行数据标注和模型匹配，接着进行模型开发，最终训练结束后部署成在线应用。

AI能力一般分两种，分别是通用能力和算法能力。具体来说，通用能力不针对具体的行业应用，主要解决日常或者泛化问题，例如通用文字识别，不管是身份证还是驾照，任何一张图片训练后的模型都会尽可能去识别文字内容，而京东AI的算法能力主要针对供应链、零售、物流、金融方面。

针对具体的应用场景，以拍照购为例来讲解模型开发过程。拍照购是由京东研发的图像商品识别功能，支持一次性识别图像中的多个商品（多主体检测），并反馈每个商品的位置、商品品类类别、京东同款商品信息等。它适用于广告图商品检测、场景中商品识别、拍照识货、图像商品打标、商品分类管理等场景赋能。

先看拍照购的业务需求，总结下来一共有三个需求：①需要覆盖商城数十亿正品商品；②支持一次性识别图像中的多个商品（多主体检测），并反馈每个商品的位置、商品品类类别、京东同款商品信息等；③需要支持客户多种产品形态，如PC、移动端。小程序等；之后需要确定技术选型，用户拍一张图片之后，首先要识别这个图像属于哪一种图像分类，结合的实际的场景中，需要覆盖商城12个商品品类200个细分类目，支撑十万SKU级别细分类。然后根据用户上传的图片进行目标检测，需要能够实现自动定位到商品主体，并支持多商品主体检测，能够区分不同商品的显著性。接下来需要进行特征匹配，找到与图片商品匹配度最高的商品，返回接着结果进行再做一个召回结构重排。将想要优先展示的展品被识别出来，最后就是Indexing。

此外，拍照购在目标检测以图象分类的基本能力上增加了一些购物的业务逻辑，目前商城内所有的商品都涵盖。拍照购已解决了传统图片分类遇到的问题，包括相同内容的图片可大可小，尺寸大小不统一，物品变形或特殊摆放，以及外界光影、背景干扰导致的图片显示状态不同。除此之外，商品状态前后出现变化、商品包装等同于商品、同类商品外观过于接近等额外的问题也已得到很好优化。

在数据收集方面，会考虑商业目标和用户使用场景，增加热销品的训练数据量，尽量提高商品类目的覆盖率和同类商品的数据量。另外，顾客晒单中的图片可以有效弥补商家图片在落地场景中的不足，因此，也是拍照购的重要训练数据来源。在进入数据标注之前，研发会对训练原始数据做预处理，包括图片去重，去燥和预标注等，以提高数据质量，降低后续人工标注难度。根据数据维度的不同，拍照购的数据标注会包括主体框图、图片相似性和图片分类等多种类型。

另外一个案例，即“70年，我是主角”。这其实是京东云和京东AI与人民日报联合运作的一个推广活动，主要表现在用户上传一张照片就可以做到识别人脸并生成五张用户海报，进而帮助产生一个视频，在视频中完成人脸替换。

与很多静态图片或者超短小视频换脸不同，这部微电影提供网友用于换脸的视频片段包含了大量的奔跑镜头和频繁的姿态变化，尤其是多变的光影使主人公脸部的明暗差异变化非常大，这就给人脸关键点检测、定位及渲染都带来了困难。

具体来说，算法工作做完以后紧随其后的就是一个人脸替换的程序，以及标注好的图片。“我们会从另外一个角度去做GPU加速，原来这个程序跑在GPU上的，换一张图片需要5秒钟，加速以后换一张图片只需要100毫秒，这个量级的处理很关键。通常，用户上传图片，我们识别一个人脸，然后检测是不是重要人物，随后提交换脸请求，我们会对海报以及几百张的照片同时替换，然后做一个视频合并，再把合并好的数据传到CDN上，结束以后就可以去查看自己的换脸视频和海报结果了。”

盘点下来，整个业务流程中哪一部分耗时最长，又是哪一部分用户等待的耐性最少，如果用户想立刻知道这张图片是不是合格…这些都要给出足够的资源判定。换脸视频最终用户想要看到的结果就是视频，所以京东云将珍贵的GPU资源提供给了人脸检测和视频这部分。

这个过程中，京东云提供的CPU资源去做海报。从工程角度来考虑这个问题，当业务做得更精细时，应该把CPU的任务和GPU的任务完全拆分开，只让GPU去做最核心运算，就不会出现GPU卡，否则就是对资源是很大的浪费。在业务高峰期间，将70秒的视频拆分成6段，可以做一个随机的选择；当业务低峰期的时候，系统把70秒完整的视频给用户展现出来，最终视频大小是5兆左右。

如果跳出具体的案例，上升到企业级的应用层面，如果企业业务数据并没有标注，就可以把业务数据放到京东NeuHub平台，可以被提供一些常见的分类，例如图片分类或者框图标注、语音标注等。实际上如果数据齐备，就可以用这个工具，无负担。

此外需要强调的一点，当数据齐备以后就会自然进入到一个模型训练的过程，除了使用用户自己的数据以外，京东NeuHub平台也提供行业的一些公开数据集给用户应用，并为自己业务定制。

进一步了解，京东NeuHub在模型训练以及数据标注方面也支持主流的移动端框架，还有一些软硬一体的设备等，例如像自动结算台，还有服务机器人，未来会有一些行业的整体解决方案出炉。

近年来基于云端的企业数字服务转型，京东云快速布局并通过战略伙伴构建丰富的大生态以及细分领域的技术版图，凭借自身研发以及集团商业能力的服务输出，推出及更新多达300+款产品与服务，实现云计算产业链的整合及升级，想必关于云计算、有关AI、推及京东云，未来的惊喜更是不断。

点击“阅读”，进入京东云开发者中心查看演讲视频