E百科 | 基于MEC的边缘AI服务
简介: 阿里云边缘计算团队付哲解读5G下热门场景:边缘AI。作者:阿里云付哲,计算机科学与技术专业博士后,在流量检测、资源调度领域有深入研究,其论文《Astraea: Deploy AI Services at the Edge in Elegant Ways》曾入选2020年IEEE边缘计算国际会议(IEEE International Conference on Edge Computing)。目前在阿里云边缘计算团队从事边缘云资源调度和创新应用方面的研究。
5G关键能力
近年来,5G已成为各国战略竞争制高点和未来社会发展、信息化的关键技术。目前,各国纷纷加快5G战略和政策布局。2019年工业和信息化部正式向中国电信、中国移动、中国联通、中国广电发放5G商用牌照,中国正式进入5G商用元年,这比原计划商用提前了一年。最新报告显示,截至2020年12月,我国三大运营商5G用户已经超过了2.5亿。随着5G技术和商业化的不断普及,5G正渗透到社会生活每个角落。
目前对5G的认知,关注的焦点是极致的速度。但对于5G更多能力的愿景,现阶段涉及还比较少。移动通信专家在5G标准设立之初,为了形象地描述5G关键能力,画出了一朵“5G之花”[1],花朵的每一瓣都表示一种核心技术能力,如图1所示。
在5G的场景中,不仅是道路速度快了10倍,道路宽了100倍,道路承载的流量、移动性、各种效率等指标也均有明显的提升。很多人都存在一个疑问,这些严苛的能力真的能实现吗?例如端到端1毫秒的时延,5G通信怎么可能时延比固网通信还要低?这里需要澄清一下,5G毫秒级的时延指的不是远距离传输的时延。以光速计算,1毫秒时间信息也只能传递300000*1/1000=300公里的距离。无论是5G,还是6G、7G,也是无法突破这一物理定律的。而通过5G网络定制的低时延切片以及多接入边缘计算等技术,将核心网等下沉到市、县、乡等离终端用户百公里级的范围之内,毫秒级时延也并不完全是一句空谈。
多接入边缘计算(MEC)
多接入边缘计算(Multi-access Edge Computing)的概念最早提出于2009年卡耐基梅隆大学所研发的cloudlet计算平台,并逐渐被世界各个标准协会纳入通信标准,发展演进成为5G移动通信技术系统的重要技术之一。
为了避免技术叙述上的枯燥,先举一个通俗的例子。假设我们有两个快递件要发,一个是从深圳发往北京,一个是从深圳福田区发往同城的宝安区。第一个快递会先从深圳发往某地的快递集散中心(例如郑州集散中心),然后再发往北京,最终通过逐级快递点送到用户手中,这种方式是没有问题的。但是如果按此方式运送第二个快递,那么第二个快递也会先从福田区发往郑州集散中心,然后再返回宝安区,最终送到用户手中。
大家一定会觉得这种方式疯了,同市的快递为什么不直接在市内调度就好,而要先运送到千里之外的集散中心?现实很残酷,5G之前的网络(包括5G非独立组网),数据基本上都是按照接入网->承载网->核心网的处理方式,最后再由核心网决定怎么去调度和处理。即使是同一个城市、同一个基站下的两个终端间的通信,还是得先上报到核心网处理再回来。这一去一回,用户感知的时延明显增大了。而MEC技术,可以将计算能力下沉到基站侧,终端用户的业务请求可以调用就近的算力解决,而不用一层层上报至核心计算中心,再下发处理,从而能够降低网络传输时延,并且减少涌入中心云的网络流量。
基于MEC的边缘AI服务
5G普及之后,大部分的计算交互都可以直接在MEC节点处进行处理,由于节省了承载网、核心网的介入,大大降低了网络时延,同时节省了网络带宽资源。高清视频、VR/AR、云游戏等应用预计将会随着5G的普及迎来下一波爆发。本文将会介绍5G场景下的热点应用之一:边缘AI服务。
站在用户的角度,AI服务(尤其是推理阶段)通常可分为在端侧或者在云侧执行。手机等终端设备的计算能力逐渐增强,使得一些简单的AI模型跑在终端上成为了可能。然而,终端设备有限的功耗是始终无法忽略的问题,不少运行在终端上的AI模型往往会遇到发热、降频、耗电过快的问题;此外,数量更大的其他终端设备,例如摄像头、传感器以及其他IoT设备,其受限的计算资源使得他们难以运行常见的端侧AI模型。另一方面,云侧虽然算力强大,但是由于其执行的AI模型由于离端侧更远,时延无法得到保证;即使对时延并不敏感,在万物互联场景下如果海量端侧设备都依赖云中心的AI服务的话,它们的带宽流量会对现有网络带来不小的冲击。
为了解决这一困境,基于MEC的边缘AI服务应运而生。MEC节点的计算能力虽然比不上中心云,但是相较于终端设备还是要高不少的,部分MEC节点也包含GPU、FPGA等计算加速硬件。卸载到边缘节点的AI服务不仅仅能够节省终端到云中心的通信成本,而且能够提供低至毫秒级的网络通信时延。
计算卸载是边缘计算的主要功能之一,为简化这一场景,我们仅以单任务决策为例进行建模分析。对于终端用户来说,如果满足以下条件(1),那么将AI计算从端设备卸载到边缘执行,在任务完成时延上有明显体验上的提升的。
C / Pd > C / Pe + D / Bc (1)
类似地,当条件(2)满足时,将AI计算任务从端设备卸载到边缘执行,可以降低计算能耗。
C × Ed / Pd > C × Ee / Pe + D × Ec / Bc (2)
以上公式中各参数含义如下:
Pd: 端设备处理速度
Pe: 边缘云服务器处理速度
C: 计算任务量
D:需要传输的任务大小
Bc: 端设备到边缘节点的带宽大小
Ed: 端设备处理功耗
Ee: 边缘云服务器处理功耗
Ec: 端设备到边缘节点的通信功耗
边缘AI部署项目Astraea
人工智能模型的开发人员和数据科学家通常不知道或不太关心他们的模型在生产环境中是如何服务的。例如,在边缘部署模型时,必须考虑到不同框架的AI模型需要不同的部署方式,同时也需要一个API服务器将AI模型对外提供给终端用户。此外,边缘人工智能服务还需要全生命周期管理的能力,包括版本升级、灰度发布、自动缩放等,以及灵活的调度能力,以优化用户体验、计算成本和流量成本之间的权衡。
为此,阿里云边缘计算团队提出了Astraea[2] — 一个适用于边缘计算场景的新型AI服务部署平台,它简化了部署阶段,同时充分利用了边缘计算的优势。通过边缘AI部署项目Astraea,模型开发者能够自动化地完成AI服务在MEC等边缘节点的部署,并将AI服务的推理过程转化为Restful API接口,供终端设备调用,使得终端设备能够充分利用5G/MEC带来的技术红利。
Astraea具有以下优点。首先,Astraea的用户只需要提交不到10行的模板配置,Astraea能够在1分钟时间内构建映像,在5分钟时间内完成服务边缘部署。其次,Astraea支持Scikit learn、TensorFlow、Pythorch、ONNX等多个人工智能框架,可以一键化为AI服务自动生成Restful API。借助Astraea以及阿里云边缘节点服务,AI服务可以下沉到距离用户10公里的范围内。同时,Astraea基于阿里云边缘节点服务能力实现运维自动化。
Astraea可以基于边缘节点服务平台实现以下能力:
镜像仓库:作为边缘AI镜像的储存仓库,并提供镜像分发加速能力
应用发布:提供边缘AI服务的一键部署和灰度发布功能
监测运维:负责边缘AI容器状态监测和相关日志服务
实时车牌识别DEMO
为了验证基于MEC的AI服务的技术能力,以下基于Astraea实现了一个简单的车牌识别(License Plate Reader)服务示例。实验中使用了Raspberry Pi 4模拟终端摄像头设备。由于目前Raspberry Pi没有5G通信模块,因此实验中额外购置了5G WiFi将5G信号转化为可供Raspberry Pi连接的WiFi信号,用于模拟5G通信链路。
由于Raspberry Pi采用的是ARM架构CPU,算力较弱,实测在Raspberry上直接执行车牌检测的程序,采用预训练好的模型,需要大概13s的时间才能识别出一张图片中的车牌数字及其位置。显然,想利用Raspberry Pi本身实现实时的车牌识别是不可能的。
下面,我们将车牌识别这一AI服务部署至边缘节点。在项目目录执行:
astraea build
该步骤将车牌识别的AI模型打包成AI服务镜像,按照用户定义的配置文件暴露出API接口,并推送到到边缘节点的镜像仓库中。
接下来,执行:
astraea deploy
该步骤中,Astraea根据配置文件中指定的调度域、规格和数量信息将AI服务调度到指定的节点。例如,可以将服务部署到了位于上海宝山区的边缘节点,能够为上海宝山区的用户提供就近访问的低时延车牌识别能力。
Astraea能够按照模板定义好的模型调用方法自动生成Restful API,返回服务IP地址以及端口号,提供接口供用户调用。本示例中,直接调用以下接口,就能获得车牌识别的结果。
curl -g http://IP:port/predict -d 'json={"jsonData": "img_base64"}'
被调用后,API会返回车牌号识别结果,包括车牌字符串、位置以及置信概率)。该服务同时支持多车牌识别,如果一张图片里有多个车牌,那么结果将以json数组形式返回。一个API返回示例如下:
{
"code": 0,
"request_id": "xxx-xxx-xxx",
"data": {
"msg": {},
"ndarray": [{
"confidence": 0.8996933911527906,
"rect": [120.92, 103.3, 73.57536804199219, 23.4],
"res": "\u9c81A88888"
}]
},
}
此外,Astraea还提供了基本的监控功能,访问以下接口,能获得诸如QPM、平均推理耗时、模型调用次数等统计信息。
curl -g http://IP:port/monitor
返回值如下:
{"AvgQPM":33.35,"AvgReqTime":"0.009s","Counter":3022}
该返回值表示该AI服务平均每分钟被调用33.35次,平均处理时延为9ms,一共被调用了3022次。
将Astraea自动生成的API接口进一步封装,就能够实现可视化、以及实时的车牌识别。例如,下图是基于Raspberry Pi 4的实时车牌识别结果。可以看到,基于部署在边缘节点边缘车牌识别服务,算力较弱的终端设备(例如Raspberry Pi、老旧摄像头等)也能实现强大而又低时延的AI处理能力。
总结
基于MEC等边缘云基础设施的能力,AI及其他计算任务可以卸载到离用户最近的计算节点执行,在处理时延、处理功耗、网络带宽等方面达到较优的权衡。通过Astraea,模型开发者能将已有模型一键部署到指定的MEC等边缘云节点,提供易部署和低时延AI服务能力。Astraea的愿景是希望在5G时代,AI服务在边缘的部署与运维就像如今使用CDN分发图片和视频一样简单。
作者:阿里云付哲,计算机科学与技术专业博士后,在流量检测、资源调度领域有深入研究,其论文《Astraea: Deploy AI Services at the Edge in Elegant Ways》曾入选2020年IEEE边缘计算国际会议(IEEE International Conference on Edge Computing)。目前在阿里云边缘计算团队从事边缘云资源调度和创新应用方面的研究。
本文为阿里云原创内容,未经允许不得转载
E百科 | 基于MEC的边缘AI服务的更多相关文章
- 基于 socket.io 的 AI 服务 杂谈
为什么会想到来聊下这个话题. 前几天在公司的项目中,开发一个基于 socket.io 的直播 IM 功能. 直播分为两部分,一部分是比较昂贵的 视频推流, 另外一部分是 IM 即时聊天服务. 从这里开 ...
- 亚马逊云推出基于机器学习的企业搜索服务Kendra,剑指微软
近日,在AWS re:Invent全球大会上,亚马逊发布了五项新的基于机器学习的人工智能 (AI) 服务. 这五项服务包括机器学习驱动的企业搜索.代码审核与分析.欺诈检测.医疗转录和 AI 预测的人工 ...
- 国内首个全域边缘节点服务发布,阿里云助力企业把握5G机遇
7月24日,阿里云峰会开发者大会在上海世博中心举办.作为2019年首场最受瞩目的云计算开发者大会,阿里云携一众云计算技术大牛与开发者面对面,探讨各自领域的技术干货与前沿趋势.同时,也发布了多项重大重磅 ...
- 新一代视频AI服务 —— 阿里云智能视觉重磅发布
3月27日下午,第51期阿里云产品发布会-智能视觉产品隆重发布,本次产品发布会首次面向全网用户深入的解读了智能视觉的前世今生. 行业背景 随着人工智能的技术不断成熟,AI逐渐在各行业内落地.在新零售领 ...
- Azure AI 服务之文本翻译
当下人工智能可谓是风头正劲,几乎所有的大厂都有相关的技术栈.微软在 AI 领域自然也是投入了重注,并且以 Azure 认知服务的方式投入了市场: 也就是说作为开发者我们不需要学习太多 AI 的理论知识 ...
- 初探机器学习之使用百度AI服务实现图片识别与相似图片
一.百度云AI服务 最近在调研一些云服务平台的AI(人工智能)服务,了解了一下阿里云.腾讯云和百度云.其中,百度云提供了图像识别及图像搜索,而且还细分地提供了相似图片这项服务,比较符合我的需求,且百度 ...
- 干货|基于 Spring Cloud 的微服务落地
转自 微服务架构模式的核心在于如何识别服务的边界,设计出合理的微服务.但如果要将微服务架构运用到生产项目上,并且能够发挥该架构模式的重要作用,则需要微服务框架的支持. 在Java生态圈,目前使用较多的 ...
- 基于Spring Cloud的微服务落地
微服务架构模式的核心在于如何识别服务的边界,设计出合理的微服务.但如果要将微服务架构运用到生产项目上,并且能够发挥该架构模式的重要作用,则需要微服务框架的支持. 在Java生态圈,目前使用较多的微服务 ...
- 从云端到边缘 AI推动FPGA应用拓展
近日,全球最大的FPGA厂商赛灵思宣布收购深鉴科技的消息,引发人工智能芯片行业热议,这也是首起中国AI芯片公司被收购的案例.值得注意的是,收购深鉴科技的赛灵思在2018年下半年重点发展方面是汽车自动驾 ...
随机推荐
- jvm系列一什么是jvm
JVM学习 本博客是根据解密JVM[黑马程序员出品]教学视频学习时,所做的笔记 一.什么是JVM 定义 Java Virtual Machine,JAVA程序的运行环境(JAVA二进制字节码的运行环境 ...
- spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析
转载:https://blog.csdn.net/zimiao552147572/article/details/96482120 nohup spark-submit --master yarn - ...
- FatMouse and CheeseI - I
FatMouse has stored some cheese in a city. The city can be considered as a square grid of dimension ...
- Codeforces Round #604 (Div. 2) C. Beautiful Regional Contest(贪心)
题目链接:https://codeforces.com/contest/1265/problem/C 题意 从大到小给出 $n$ 只队伍的过题数,要颁发 $g$ 枚金牌,$s$ 枚银牌,$b$ 枚铜牌 ...
- 【noi 2.7_7215】简单的整数划分问题(算法效率)
题意:问正整数n的所有划分个数. 解法:f[i][j]表示划分 i 后的每个数不大于 j 的划分数.分情况讨论:划分中每个数都小于 j,相当于每个数不大于 j- 1, 故划分数为 f[i][j-1] ...
- 牛客练习赛71 C.数学考试 (DP,容斥原理)
题意:RT 题解:先对\(p\)排个序,然后设\(dp[i]\)表示前\(i-1\)个\(p[i]\)满足条件但是\(p[i]\)不满足,即在\([1,p[i]]\)中不存在从\(p[1]\)到\(p ...
- CF1475-D. Cleaning the Phone
CF1475-D. Cleaning the Phone 题意: 手机上有很多应用非常占用内存,你要清理内存.对于每个应用\(i\)有以下描述:应用\(i\)占用了\(a_i\)的空间,它的方便度为\ ...
- Atlas 读写分离 & Atlas + MHA 故障自动恢复
目录 Atals 介绍 Atlas 主要功能 Atlas 相对于官方 MySQL-Proxy 的优势 Atlas 使用 Atlas 安装 Atlas 目录 Atlas 配置 Atlas 启动 Atla ...
- LINUX - 文件读写缓存
遇到一个进程core掉后日志打印不出来的问题: 参考如下: [引用] 只有正常退出,才能做到flush.否则将写失败. 之后有百度了下中文资料,发现同样的结论. "fflush库函数的作用是 ...
- VS2010下创建MVC4项目注意事项
1.安装VS SP1. 2.安装NuGet Package Manager. (1)打开VS2010,进入"工具--扩展管理器". (2)点击"联机库",等待搜 ...