2015年11月9日,Google发布人工智能系统TensorFlow并宣布开源,同日,极客学院组织在线TensorFlow中文文档翻译.一个月后,30章文档全部翻译校对完成,上线并提供电子书下载,该文档的上线为国内外使用中文学习TensorFlow的工程及研究人员提供了更快的访问速度和更好的阅读体验,助力中国AI技术与世界同步.在线阅读地址为:http://wiki.jikexueyuan.com/project/tensorflow-zh/ 众所周知,人工智能将是未来发展的大方向,从国家到全…

TensorFlow用张量这种数据结构来表示所有的数据.用一阶张量来表示向量,如:v = [1.2, 2.3, 3.5] ,如二阶张量表示矩阵,如:m = [[1, 2, 3], [4, 5, 6], [7, 8, 9]],可以看成是方括号嵌套的层数. 1.编辑器 编写tensorflow代码,实际上就是编写py文件,最好找一个好用的编辑器,如果你用vim或gedit比较顺手,那也可以的啦.我们既然已经安装了anaconda,那么它里面自带一个还算不错的编辑器,名叫spyder,用起来和matl…

#————————————————————————本文禁止转载,禁止用于各类讲座及ppt中,违者必究————————————————————————# 前几天看到一个有意思的分享,大意是讲如何用Tensorflow教神经网络自动创造音乐.听起来好好玩有木有!作为一个Coldplay死忠粉,第一想法就是自动生成一个类似Coldplay曲风的音乐,于是,开始跟着Github上的教程(项目的名称:Project Magenta)一步一步做,弄了三天,最后的生成的音乐在这里(如果有人能告诉我怎么在博客里…

pading :SAME,VALID 区别  http://blog.csdn.net/mao_xiao_feng/article/details/53444333 tensorflow实现的各种算法:http://www.cnblogs.com/zhizhan/p/5971423.html 卷积神经网络中w*x得到的是一个feature map,然而bias是一个值,也就是每个feature map只对应一个数值的bias(猜测feature map上面的每一个元素都+bias) tensor…

本文是在阅读官方文档后的一些个人理解. 官方文档地址:https://www.tensorflow.org/versions/r0.12/get_started/basic_usage.html#basic-usage 关于tensor和op的理解 Nodes in the graph are called ops (short for operations). An op takes zero or more Tensors, performs some computation, and pr…

谷歌内部--Borg Google Brain跑在数十万台机器上 谷歌电商商品分类深度学习模型跑在1000+台机器上 谷歌外部--Kubernetes(https://github.com/kubernetes/kubernetes) Kubernetes为Borg的开源版,是一个容器集群管理系统 Tensorflow原生态支持并行化的跑在kubernetes上(https://github.com/caicloud/tensorflow-demo)…

tensorflow安装时遇到gcc: error trying to exec 'as': execvp: No such file or directory. 截止到2016年11月13号,源码编译tensorflow还不支持gcc5.4,我使用的是gcc5.3,使用bazel工具进行编译时遇到上面这个问题,解决方法,将/usr/bin/as放到/usr/local/bin/gcc,和gcc 5.3的版本同个目录下./usr/bin/as不知道是由那个版本的GCC装上的,还是说系统自带. 由…

验证码是根据随机字符生成一幅图片,然后在图片中加入干扰象素,用户必须手动填入,防止有人利用机器人自动批量注册.灌水.发垃圾广告等等 . 验证码的作用是验证用户是真人还是机器人:设计理念是对人友好,对机器难. 上图是常见的字符验证码,还有一些验证码使用提问的方式. 我们先来看看破解验证码的几种方式: 人力打码(基本上,打码任务都是大型网站的验证码,用于自动化注册等等) 找到能过验证码的漏洞 最后一种是字符识别,这是本帖的关注点 我上网查了查,用Tesseract OCR.OpenCV等等其它方法都…

模式识别领域应用机器学习的场景非常多,手写识别就是其中一种,最简单的数字识别是一个多类分类问题,我们借这个多类分类问题来介绍一下google最新开源的tensorflow框架,后面深度学习的内容都会基于tensorflow来介绍和演示 请尊重原创,转载请注明来源网站www.shareditor.com以及原始链接地址 什么是tensorflow tensor意思是张量,flow是流. 张量原本是力学里的术语,表示弹性介质中各点应力状态.在数学中,张量表示的是一种广义的"数量",0阶张量…

之前摸爬滚打总是各种坑,今天参考这篇文章终于解决了,甚是鸡冻\(≧▽≦)/,电脑不知道怎么的,安装不了16.04,就安装15.10再升级到16.04 requirements: Ubuntu 16.04 python 2.7 Flask tensorflow GPU 版本 安装nvidia driver 经过不断踩坑的安装,终于google到了靠谱的方法,首先检查你的NVIDIA VGA card model sudo lshw -numeric -C display 可以看到你的显卡信息,比如…

AI这个概念好像突然就火起来了,年初大比分战胜李世石的AlphaGo成功的吸引了大量的关注,但其实看看你的手机上的语音助手,相机上的人脸识别,今日头条上帮你自动筛选出来的新闻,还有各大音乐软件的歌曲"每日推荐"--形形色色的AI早已进入我们生活的方方面面.深刻的影响了着我们,可以说,这是一个AI的时代. 其实早在去年年底,谷歌就开源了其用来制作AlphaGo的深度学习系统Tensorflow,相信有不少同学曾经对着这款强大的机器学习系统蠢蠢欲动,但虽然有关Tensorflow的教程其实…

windows中不能直接使用Tensorflow,所以得费点劲.(2016.11.29更新,TensorFlow 0.12 中已加入初步的 Windows 原生支持) 先是直接使用了<Deep Learning>中推荐的已经配置好Tensorflow和所有作业文件的Docker容器(貌似得翻-墙),这个方法其实很方便,用来学习Tensorflow和这个课程已经足够了,但是不够灵活. 最后在虚拟机ubuntu上安装了Tensorflow,安装配置远程jupyter notebook(以前都叫ip…

# For CPU-only version $ pip install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl # For GPU-enabled version (only install this version if you have the CUDA sdk installed) $ pip install https://storag…

https://github.com/chenghuige/tensorflow-exp/blob/master/examples/sparse-tensor-classification/ tensorflow-exp/example/sparse-tensor-classification/train-validate.py 当你需要train的过程中validate的时候,如果用placeholder来接收输入数据 那么一个compute graph可以完成这个任务.如果你用的是TFRec…

#写libsvm格式 数据 write libsvm     #!/usr/bin/env python #coding=gbk # ============================================================================== # \file gen-records.py # \author chenghuige # \date 2016-08-12 11:52:01.952044 # \Description # ========…

Tensorflow serving提供了部署tensorflow生成的模型给线上服务的方法,包括模型的export,load等等. 安装参考这个 https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/setup.md 但是由于被qiang的问题 (googlesource无法访问) https://github.com/tensorflow/serving/issues/6 需要修改一下 WORKS…

当前无论是学术界还是工业界,深度学习都受到极大的追捧,尤其是在Google开源深度学习平台TensorFlow之后,更是给深度学习火上浇油.目前在开源社区Github上所有开源项目中,TensorFlow最为活跃,从推出到现在,经历了几个版本的演进,可以说能够灵活高效地解决大量实际问题.本文主要尝试阐述TensorFlow在自然语言处理(NLP)领域的简单应用,让大家伙儿更加感性地认识TensorFlow. 说到NLP,其实我对它并不是很熟悉,之前也未曾有过NLP的相关经验,本文是我最近学习Te…

# 在 Linux 上: $ sudo apt-get install python-pip python-dev python-virtualenv $ virtualenv --system-site-packages ~/tensorflow $ cd ~/tensorflow $ source bin/activate # 如果使用 bash (tensorflow)$ # 终端提示符应该发生变化 (tensorflow)$ pip install --upgrade <$url_to_…

本博客主要用于在Ubuntu14.04 64bit 操作系统上搭建google开源的深度学习框架tensorflow. 0.安装CUDA和cuDNN 如果要安装GPU版本的tensorflow,就必须先安装CUDA和cuDNN,请参考Caffe学习笔记2--Ubuntu 14.04 64bit 安装Caffe(GPU版本). 1.安装tensorflow github上下载已经编译好的.whl文件. 输入如下, sudo pip install tensorflow-0.8.0-cp27-non…

学习资料: 英文官方网站 Tensorflow 将要写的博客目录: 1.使用Spring AOP对异常进行统一处理 2.动态代理模式理解  aop中的动态代理模式 3.工厂模式三种的理解.loggerFactory.getclass(); 4.流关闭在JDK1.7中使用 5.API auth授权原理整理…

背景 听说谷歌的第二代机器学习的框架tensorflow开源了,我也心血来潮去探探大牛的产品.怎奈安装就折腾了一天,现在整理出来备忘. tensorflow官方网站给出的安装步骤很简单: # Only CPU-version is available at the moment. $ pip install https://storage.googleapis.com/tensorflow/mac/tensorflow-0.5.0-py2-none-any.whl 安装pip 用到了一个pip的…

mnist的卷积神经网络例子和上一篇博文中的神经网络例子大部分是相同的.但是CNN层数要多一些,网络模型需要自己来构建. 程序比较复杂,我就分成几个部分来叙述. 首先,下载并加载数据: import tensorflow as tf import tensorflow.examples.tutorials.mnist.input_data as input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=Tru…

刚开始学习tf时,我们从简单的地方开始.卷积神经网络(CNN)是由简单的神经网络(NN)发展而来的,因此,我们的第一个例子,就从神经网络开始. 神经网络没有卷积功能,只有简单的三层:输入层,隐藏层和输出层. 数据从输入层输入,在隐藏层进行加权变换,最后在输出层进行输出.输出的时候,我们可以使用softmax回归,输出属于每个类别的概率值.借用极客学院的图表示如下: 其中,x1,x2,x3为输入数据,经过运算后,得到三个数据属于某个类别的概率值y1,y2,y3. 用简单的公式表示如下: 在训练过程…

一.mnist数据 深度学习的入门实例,一般就是mnist手写数字分类识别,因此我们应该先下载这个数据集. tensorflow提供一个input_data.py文件,专门用于下载mnist数据,我们直接调用就可以了,代码如下: import tensorflow.examples.tutorials.mnist.input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) 执行完成后,会在当前目录下…

用过一段时间的caffe后,对caffe有两点感受:1.速度确实快; 2. 太不灵活了. 深度学习技术一直在发展,但是caffe的更新跟不上进度,也许是维护团队的关系:CAFFE团队成员都是业余时间在维护和更新.导致的结果就是很多新的技术在caffe里用不了,比如RNN, LSTM,batch-norm等.当然这些现在也算是旧的东西了,也许caffe已经有了,我已经很久没有关注caffe的新版本了.它的不灵活之处就是新的东西很难自己扩展,只能等版本更新,这就比较尴尬. 因此,只学caffe一个工…

tensorflow可以很方便的添加用户自定义的operator(如果不添加也可以采用sklearn的auc计算函数或者自己写一个 但是会在python执行,这里希望在graph中也就是c++端执行这个计算) 这里根据工作需要添加一个计算auc的operator,只给出最简单实现,后续高级功能还是参考官方wiki https://www.tensorflow.org/versions/r0.7/how_tos/adding_an_op/index.html 注意tensorflow现在和最初的官…

binary安装(推荐) 注意需要能访问外网 Install pip (or pip3 for python3) if it is not already installed: # Ubuntu/Linux 64-bit$ sudo apt-get install python-pip python-dev # Mac OS X$ sudo easy_install pip Install TensorFlow: # Ubuntu/Linux 64-bit, CPU only:$ sudo pi…

opts = Options() with tf.Graph().as_default(), tf.Session() as session: model = Word2Vec(opts, session) if FLAGS.interactive: #print('load model from file %s %s', opts.save_path, os.path.join(opts.save_path, "/model.ckpt")) #model.saver.restore(…

考虑不可分的例子         通过使用basis functions 使得不可分的线性模型变成可分的非线性模型 最常用的就是写出一个目标函数 并且使用梯度下降法 来计算     梯度的下降法的梯度计算                 关于线性和非线性的隐层 非线性隐层使得网络可以计算更加复杂的函数 线性隐层不能增强网络的表述能力,它们被用来做降维,减少训练需要的参数数目,这在nlp相关的模型中 经常用到(embedding vector)     一个back prop的例子        …

这里做了一些小的修改,感谢谷歌rd的帮助,使得能够统一处理dense的数据,或者类似文本分类这样sparse的输入数据.后续会做进一步学习优化,比如如何多线程处理. 具体如何处理sparse 主要是使用embedding_lookup_sparse,参考 https://github.com/tensorflow/tensorflow/issues/342 两个文件 melt.py binary_classification.py 代码和数据已经上传到 https://github.com/ch…