机器学习PAI产品架构 本文介绍PAI的产品架构. 如上图所示,PAI的业务架构分为五层: 基础设施层:包括CPU.GPU.FPGA及NPU. 计算引擎和容器服务层:包括MaxCompute.EMR.实时计算等计算引擎及容器服务ACK. 计算框架层:包括Alink.TensorFlow.PyTorch.Caffe.MapReduce.SQL及MPI等计算框架,用于执行分布式计算任务. 按照机器学习全流程,PAI分别提供了数据准备.模型开发和训练及模型部署阶段的产品: 数据准备:PAI提供了智能标…

以下内容根据演讲视频以及PPT整理而成. 本次分享主要围绕以下五个方面: PAI产品简介 自定义算法上传 数加智能生态市场 AutoML2.0自动调参 AutoLearning自动学习 一.PAI产品简介与功能发展 1. PAI-Studio 在PAI的架构图中,最下层的是PAI的计算框架和数据资源.PAI可支持MaxCompute.OSS.HDFS和NAS等多种数据资源.在数据资源和多种计算框架基础之上,诞生出了PAI的最早形态:PAI-Studio——可视化建模实验平台,Studio中包括了…

什么是机器学习? 机器学习指的是机器通过统计学算法,对大量的历史数据进行学习从而生成经验模型,利用经验模型指导业务. 目前机器学习主要在一下一些方面发挥作用: 营销类场景:商品推荐.用户群体画像.广告精准投放 金融类场景:贷款发放预测.金融风险控制.股票走势预测.黄金价格预测 SNS关系挖掘:微博粉丝领袖分析.社交关系链分析 文本类场景:新闻分类.关键词提起.文章摘要.文本内容分析 非结构化数据处理场景:图片分类.图片文本内容提取OCR 其它各类预测场景:降雨预测.足球比赛结果预测 当然,机器学…

背景 如果你是做互联网金融的,那么一定听说过评分卡.评分卡是信用风险评估领域常用的建模方法,评分卡并不简单对应于某一种机器学习算法,而是一种通用的建模框架,将原始数据通过分箱后进行特征工程变换,继而应用于线性模型进行建模的一种方法. 评分卡建模理论常被用于各种信用评估领域,比如信用卡风险评估.贷款发放等业务.另外,在其它领域评分卡常被用来作为分数评估,比如常见的客服质量打分.芝麻信用分打分等等.在本文中,我们将通过一个案例为大家讲解如何通过PAI平台的金融板块组件,搭建出一套评分卡建模方案. 本…

背景 我们通过之前的案例已经为大家介绍了如何通过常规的体检数据预测心脏病的发生,请见http://blog.csdn.net/buptgshengod/article/details/53609878.通过前文的案例我们可以生成一个算法模型,通过向这个模型输入用户实时的体检数据就会返回用户患有心胀病的概率.那么我们该如何搭建这套实时监测用户健康情况的服务呢?PAI最新推出的在线预测服务帮您实现.目前,机器学习PAI已经支持实验模型一键部署到云端生成API,通过向这个API推送用户的实时体检数据,…

一.背景 最近热播的反腐神剧"人民的名义"掀起来一波社会舆论的高潮,这部电视剧之所能得到广泛的关注,除了老戏骨们精湛的演技,整部剧出色的剧本也起到了关键的作用.笔者在平日追剧之余,也尝试通过机器学习算法对人民的名义的部分剧集文本内容进行了文本分析,希望从数据的角度得到一些输入. 本文使用阿里云机器学习PAI,主要针对以下几个方面进行了实验: 分词以及词频统计 每一章的关键词提取 每一章的文本摘要 每一章文本之间的相似度分析 实验流程以及数据可以在阿里云机器学习PAI的社区直接使用,只要…

引言 天猫精灵(TmallGenie)是阿里巴巴人工智能实验室(Alibaba A.I.Labs)于2017年7月5日发布的AI智能语音终端设备.天猫精灵目前是全球销量第三.中国销量第一的智能音箱品牌. 在天猫精灵业务系统中,大量使用了算法模型.如领域分类模型,意图分类模型,槽填充模型,多轮对话模型等.当前天猫精灵后台有上百个正在使用的算法模型. 在模型服务方面,有两个问题非常重要: 首先,为了保证服务能够得到快速响应,模型的 RT 必须尽可能的短. 其次,我们希望在硬件资源一定的情况下能够支持…

机器学习PAL产品优势 PAI支持丰富的机器学习算法.一站式的机器学习体验.主流的机器学习框架及可视化的建模方式.本文介绍PAI的产品优势. 丰富的机器学习算法 PAI的算法都经过阿里巴巴集团大规模业务的沉淀,不仅支持基础的聚类和回归类算法,同时也支持文本分析和特征处理等复杂算法. 支持对接阿里云其他产品 PAI训练的模型直接存储在MaxCompute中,可以配合阿里云的其他产品使用. 一站式的机器学习体验 PAI支持从数据上传.数据预处理.特征工程.模型训练.模型评估到模型发布的机器学习全流程…

ODI学习笔记2--ODI产品架构 ODI产品架构: ODI提供了以下几种管理工具:Designer 用于定义数据转换逻辑,这是最常用的开发工具,大部分的开发任务,包括data store的定义,interface(数据映射关系)和package(相当于workflow)的创建等,都是在Designer中完成.Operator用于管理和监控数据转换任务的执行情况,在设计阶段,也可用于调试(debugging)Topology Manager用于定义物理和逻辑基础架构,如work reposito…

过去几年,我们一直在视频省流量方面潜心钻研,取得不俗的成果.本次"省带宽.压成本"系列一共会推出六篇文章,从技术迭代.硬件更新等角度出发,向大家介绍节省CDN流量,降低视频播放成本的方法. 第一篇:<从产品架构来看,PCDN如何节流50%> 目前国内互联网的发展,直播.点播等在线视频业务崛起,CDN在视频云行业被广泛应用.据统计,全球CDN市场的复合年增长率在27.7%,2020年预计将达到157.3亿美元,且亚太地区将是增长最快的市场. 近几年CDN行业发展如此迅速,主要…