ML平台_微博深度学习平台架构和实践

( 转载至: http://www.36dsj.com/archives/98977) 随着人工神经网络算法的成熟.GPU计算能力的提升,深度学习在众多领域都取得了重大突破.本文介绍了微博引入深度学习和搭建深度学习平台的经验,特别是机器学习工作流.控制中心.深度学习模型训练集群.模型在线预测服务等核心部分的设计.架构经验.微博深度学习平台极大地提升了深度学习开发效率和业务迭代速度,提高了深度学习模型效果和业务效果. 人工智能和深度学习人工智能为机器赋予人的智能.随着计算机计算能力越来越强,在…

ML平台_小米深度学习平台的架构与实践

(转载:http://www.36dsj.com/archives/85383)机器学习与人工智能,相信大家已经耳熟能详,随着大规模标记数据的积累.神经网络算法的成熟以及高性能通用GPU的推广,深度学习逐渐成为计算机专家以及大数据科学家的研究重点.近年来,无论是图像的分类.识别和检测,还是语音生成.自然语言处理,甚至是AI下围棋或者打游戏都基于深度学习有了很大的突破.而随着TensorFlow.Caffe等开源框架的发展,深度学习的门槛变得越来越低,甚至初中生都可以轻易实现一个图像分类或者自动驾…

完全基于 Java 的开源深度学习平台，亚马逊的大佬带你上手

本文适合有 Java 基础的人群作者:DJL-Lanking HelloGitHub 推出的<讲解开源项目>系列.有幸邀请到了亚马逊 + Apache 的工程师:Lanking( https://github.com/lanking520 ),为我们讲解 DJL -- 完全由 Java 构建的深度学习平台. 介绍许多年以来,一直都没有为 Java 量身定制的深度学习开发平台.用户必须要进行繁杂的项目配置,构建 class 才能最终打造出属于 Java 的深度学习应用.在那之后,依旧要面临着…

矩池云 | 高性价比的GPU租用深度学习平台

矩池云是一个专业的国内深度学习云平台,拥有着良好的深度学习云端训练体验.在性价比上,我们以 2080Ti 单卡为例,36 小时折扣后的价格才 55 元,每小时单价仅 1.52 元,属于全网最低价.用户体验上,平台为用户提供了公开数据集.案例.预装环境.高速网盘等配套设施和数据,让用户可以专注于深度学习研究. 高性价比矩池云拥有很高的性价比,其的计费方式主要分为按时租与按周/月租.按时租用采用的是分钟级的实时计费模式,满足了用完即走的短时需要:按周/月租会以一个优惠的价格出租,可以满足长期租用的…

让AI简单且强大：深度学习引擎OneFlow技术实践

本文内容节选自由msup主办的第七届TOP100summit,北京一流科技有限公司首席科学家袁进辉(老师木)分享的<让AI简单且强大:深度学习引擎OneFlow背后的技术实践>实录. 北京一流科技有限公司将自动编排并行模式.静态调度.流式执行等创新性技术相融合,构建成一套自动支持数据并行.模型并行及流水并行等多种模式的分布式深度学习框架,降低了分布式训练门槛.极大的提高了硬件使用率.该框架已经成功帮助众多头部互联网公司及人工智能企业提升了大模型训练效率,节约了硬件运营和使用成本,达到了降本增效…

《深度学习原理与TensorFlow实践》喻俨，莫瑜

1. 深度学习简介 2. TensorFlow系统介绍 3. Hello TensorFlow 4. CNN看懂世界 5. RNN能说会道 6. CNN LSTM看图说话 7. 损失函数与优化算法 TensorFlow的出现和成熟,改变了深度学习的入门和深造路径.今天我们完全可以从具体需求出发,以实践主导,比较容易地入门这一前沿人工智能技术.但是要超越写写例子.做做Demo的层次,创造性地解决新问题,必须在理论上达到一定的理解高度.本书就是沿着这样一个思路展开的,本书作者开辟了一条由实践主导.兼…

深度学习---1cycle策略：实践中的学习率设定应该是先增再降

深度学习---1cycle策略:实践中的学习率设定应该是先增再降本文转载自机器之心Pro,以作为该段时间的学习记录深度模型中的学习率及其相关参数是最重要也是最难控制的超参数,本文将介绍 Leslie Smith 在设置超参数(学习率.动量和权重衰减率)问题上第一阶段的研究成果.具体而言,Leslie Smith 提出的 1cycle 策略可以令复杂模型的训练迅速完成.它表示在 cifar10 上训练 resnet-56 时,通过使用 1cycle,能够在更少的迭代次数下,得到和原论文相比相同…

【原创深度学习与TensorFlow 动手实践系列 - 4】第四课：卷积神经网络 - 高级篇

[原创深度学习与TensorFlow 动手实践系列 - 4]第四课:卷积神经网络 - 高级篇提纲: 1. AlexNet:现代神经网络起源 2. VGG:AlexNet增强版 3. GoogleNet:多维度识别 4. ResNet:机器超越人类识别 5. DeepFace:结构化图片的特殊处理 6. U-Net:图片生成网络 7. 实例:剖析VGG,用模型进行模型参数可视化,特征提取,目标预测期待目标: 1. 掌握AlexNet结构特点,神经网络各层之间特征传导关系,模型参数总数计算 2…

【原创深度学习与TensorFlow 动手实践系列 - 3】第三课：卷积神经网络 - 基础篇

[原创深度学习与TensorFlow 动手实践系列 - 3]第三课:卷积神经网络 - 基础篇提纲: 1. 链式反向梯度传到 2. 卷积神经网络 - 卷积层 3. 卷积神经网络 - 功能层 4. 实例:卷积神经网络MNIST分类期待目标: 1. 清楚神经网络优化原理,掌握反向传播计算. 2. 掌握卷积神经网络卷积层的结构特点,关键参数,层间的连接方式. 3. 了解不同卷积神经网络功能层的作用,会进行简单的卷积神经网络结构设计. 4. 能够运行TensorFlow卷积神经网络 MNIST. …

【原创深度学习与TensorFlow 动手实践系列 - 1】第一课：深度学习总体介绍

最近一直在研究机器学习,看过两本机器学习的书,然后又看到深度学习,对深度学习产生了浓厚的兴趣,希望短时间内可以做到深度学习的入门和实践,因此写一个深度学习系列吧,通过实践来掌握<深度学习>和 TensorFlow,希望做成一个系列出来,加油! 学习内容包括了: 1. 小象学院的<深度学习>课程 2. TensorFlow的官方教程 3. 互联网上跟深度学习相关的教程整个深度学习,学习的过程是通过一条主线串联起来的,这个知识结构总结的还是蛮好的. 1. 线性回归 - 线性回归是基础…

参考《深度学习原理与应用实践》中文PDF

读国内关于深度学习的书籍,可以看看<深度学习原理与应用实践>,对深度学习原理的介绍比较简略(第3.4章共18页).只介绍了"神经网络"和"卷积神经网络",其他类型的深度神经网络(如自动编码器.循环神经网络)没有涉及. 深度学习开源工具Caffe框架和源代码解析的内容比较详细(第5章共60页),重点是卷积神经网络的实践部分.用八章介绍八个图像识别方面的应用场景,如手写数字识别.人脸识别.表情识别.年龄识别等. 最后部分对"深度学习的缺陷"…

手把手教你搭建深度学习平台——避坑安装theano+CUDA

python有多混乱我就不多说了.这个混论不仅是指整个python市场混乱,更混乱的还有python的各种附加依赖包.为了一劳永逸解决python的各种依赖包对深度学习造成的影响,本文中采用python的发行版Anaconda. Step1 安装Anaconda 这里不建议使用python3.4以后的Anaconda版本,因为太新的版本(python3.5)不支持python/matlab混合编程.所以为了以后方便,建议使用python2.7的Anaconda版本.Anaconda安装完成后,n…

【原创深度学习与TensorFlow 动手实践系列 - 2】第二课：传统神经网络

第二课传统神经网络 <深度学习>整体结构: 线性回归 -> 神经网络 -> 卷积神经网络(CNN)-> 循环神经网络(RNN)- LSTM 目标分类(人脸识别,物品识别,场景识别,文字识别),目标检测(安防,自动驾驶),视频分类(视频检索),语句生成(自动翻译,智能对话) 提纲: 1. 神经网络起源:线性回归 2. 从线性到非线性 3. 神经网络的构建 4. 神经网络的“配件” 期待目标: 1. 了解从线性到非线性回归的转化 2. 明白如何构建神经网络,了解不同激励函数的…

ML.NET 示例：深度学习之集成TensorFlow

写在前面准备近期将微软的machinelearning-samples翻译成中文,水平有限,如有错漏,请大家多多指正. 如果有朋友对此感兴趣,可以加入我:https://github.com/feiyun0112/machinelearning-samples.zh-cn 图像分类 - 评分示例问题图像分类是许多业务场景中的常见情况. 对于这些情况,您可以使用预先训练的模型或训练自己的模型来对特定于自定义域的图像进行分类. 数据集有两个数据源:tsv文件和图像文件.tsv 文件包含2列…

TensorFlow深度学习笔记循环神经网络实践

转载请注明作者:梦里风林 Github工程地址:https://github.com/ahangchen/GDLnotes 欢迎star,有问题可以到Issue区讨论官方教程地址视频/字幕下载加载数据使用text8作为训练的文本数据集 text8中只包含27种字符:小写的从a到z,以及空格符.如果把它打出来,读起来就像是去掉了所有标点的wikipedia. 直接调用lesson1中maybe_download下载text8.zip 用zipfile读取zip内容为字符串,并拆分成单词li…

ML平台_设计要点

如果说机器是人类手的延伸.交通工具是人类腿的延伸,那么人工智能就是人类大脑的延伸,甚至可以帮助人类自我进化,超越自我.人工智能也是计算机领域最前沿和最具神秘色彩的学科,科学家希望制造出代替人类思考的智能机器,艺术家将这一题材写进小说,搬上银幕,引发人们无限的遐想.然而,作为一门严肃的学科,人工智能在过去的半个多世纪中发展却不算顺利.过去的很多努力还是基于某些预设规则的快速搜索和推理,离真正的智能还有相当的距离,或者说距离创造像人类一样具有抽象学习能力的机器还很遥远.. 随着大数据和云计算的发展,…

TensorFlow-谷歌深度学习库手把手教你如何使用谷歌深度学习云平台

自己的电脑跑cnn, rnn太慢? 还在为自己电脑没有好的gpu而苦恼? 程序一跑一俩天连睡觉也要开着电脑训练? 如果你有这些烦恼何不考虑考虑使用谷歌的云平台呢?注册之后即送300美元噢-下面我就来介绍一下谷歌云平台的使用. 1 配置谷歌云平台项目(GCP Project) https://console.cloud.google.com/cloud-resource-manager 按照谷歌的向导你可以一步一步创建一个新的项目.这个项目就是你本地的项目并想放在云上跑的东西. 点击创建项目,输入…

ML平台_饿了么实践

(转载至:https://zhuanlan.zhihu.com/p/28592540) 说到机器学习.大数据,大家听到的是 Hadoop 和 Spark 居多,它们跟 TensorFlow 是一个什么样的关系呢?是不是有 TensorFlow 就不需要 Spark 这些? 像 Hadoop 跟 Spark,背后都是 MapReduce.Hadoop 更多是去写文件,Spark 更多是通过内存.它们通过 MapReduce,下发 task 给这些 executor 去做.它们擅长的这种并行…

想要学深度学习但是没有GPU？我帮你找了一些不错的平台

本文始发于个人公众号:TechFlow,原创不易,求个关注上次给大家推荐了免费的spark集群之后,就有很多小伙伴来问我有没有好的云GPU平台推荐.我一直没给大家推荐,主要原因是我常年使用Mac,对GPU配置了解不深,不过云GPU平台我倒是用过几个,今天就和大家来简单聊聊. Colab 首先来介绍免费的,最著名的免费的平台应该是Colab.Colab是Google提供的免费云服务,并且还支持GPU,所以我们完全可以使用它来做深度学习的学习. Colab嵌入在Google Drive当中,我们首…

深度学习利器： TensorFlow系统架构及高性能程序设计

2015年11月9日谷歌开源了人工智能平台TensorFlow,同时成为2015年最受关注的开源项目之一.经历了从v0.1到v0.12的12个版本迭代后,谷歌于2017年2月15日发布了TensorFlow 1.0 版本,并同时在美国加州山景城举办了首届TensorFlow Dev Summit会议. TensorFlow 1.0及Dev Summit(2017)回顾和以往版本相比,TensorFlow 1.0 的特性改进主要体现在以下几个方面: 速度更快:TensorFlow 1.0版本采用…

【深度学习Deep Learning】资料大全

最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books by Yoshua Bengio, Ian Goodfellow and Aaron Courville Neural Networks and Deep Learning42 by Michael Nielsen Deep Learning27 by Microsoft Research Deep Learning Tutorial23 by LISA lab, University…

[源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator

[源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator 目录 [源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator 0x00 摘要 0x01 背景知识 1.1 Kubernetes 1.2 容器作为调度单元 1.3 Kubeflow 1.4 Tensorflow on Kubeflow 1.5 Operator 1.6 TF-Operator 0x02 TensorFlow 分布…

[源码解析] 深度学习分布式训练框架 horovod (19) --- kubeflow MPI-operator

[源码解析] 深度学习分布式训练框架 horovod (19) --- kubeflow MPI-operator 目录 [源码解析] 深度学习分布式训练框架 horovod (19) --- kubeflow MPI-operator 0x00 摘要 0x01 背景知识 1.1 MPI 1.2 Open-MPI 1.3 MPI Operator 0x02 设计思路 2.1 架构图 2.2 角色 2.3 主要过程 2.4 CRD 的定义 2.5 创建 2.6 终止 0x03 实现 3.1 K8S…

NNVM打造模块化深度学习系统（转）

[摘录理由]: 之所以摘录本文,主要原因是:该文配有开源代码(https://github.com/dmlc/nnvm):读者能够直接体会文中所述的意义,便于立刻展开研究. MXNet专栏 :NNVM打造模块化深度学习系统 2016-10-01 作者:陈天奇本文是机器之心 MXNet 系列专栏的第一篇,作者是 MXNet 的打造者之一陈天奇.MXNet 专栏是机器之心之后将发表的系列文章,包括 MXNet 打造者的人物专访.技术博客等,敬请期待! 这是一个深度学习的大航海时代,不仅…

【深度解析】Google第二代深度学习引擎TensorFlow开源

作者:王嘉俊王婉婷 TensorFlow 是 Google 第二代深度学习系统,今天宣布完全开源.TensorFlow 是一种编写机器学习算法的界面,也可以编译执行机器学习算法的代码.使用 TensorFlow 编写的运算可以几乎不用更改,就能被运行在多种异质系统上,从移动设备(例如手机和平板)到拥有几百台的机器和几千个 GPU 之类运算设备的大规模分布式系统. TensorFlow 降低了深度学习的使用门槛,让从业人员能够更简单和方便地开发新产品.作为Google 发布的“平台级产品”,很多…

深度学习“引擎”之争：GPU加速还是专属神经网络芯片？

深度学习“引擎”之争:GPU加速还是专属神经网络芯片? 深度学习(Deep Learning)在这两年风靡全球,大数据和高性能计算平台的推动作用功不可没,可谓深度学习的“燃料”和“引擎”,GPU则是引擎的引擎,基本所有的深度学习计算平台都采用GPU加速.同时,深度学习已成为GPU提供商NVIDIA的一个新的战略方向,以及3月份的GTC 2015的绝对主角. 那么,GPU用于深度学习的最新进展如何?这些进展对深度学习框架有哪些影响?深度学习开发者应该如何发挥GPU的潜力?GPU与深度学习结合的前景…