高中数学学过,函数在一阶导数为零的地方达到其最大值和最小值.梯度下降算法基于相同的原理,即调整系数(权重和偏置)使损失函数的梯度下降. 在回归中,使用梯度下降来优化损失函数并获得系数.本节将介绍如何使用 TensorFlow 的梯度下降优化器及其变体. 按照损失函数的负梯度成比例地对系数(W 和 b)进行更新.根据训练样本的大小,有三种梯度下降的变体: Vanilla 梯度下降:在 Vanilla 梯度下降(也称作批梯度下降)中,在每个循环中计算整个训练集的损失函数的梯度.该方法可能很慢并且难以…

简单感知机是一个单层神经网络.它使用阈值激活函数,正如 Marvin Minsky 在论文中所证明的,它只能解决线性可分的问题.虽然这限制了单层感知机只能应用于线性可分问题,但它具有学习能力已经很好了. 当感知机使用阈值激活函数时,不能使用 TensorFlow 优化器来更新权重.我们将不得不使用权重更新规则:   η 是学习率.为了简化编程,当输入固定为 +1 时,偏置可以作为一个额外的权重.那么,上面的公式可以用来同时更新权重和偏置. 下面讨论如何实现单层感知机: 导入所需的模块:   定义…

Keras 是与 TensorFlow 一起使用的更高级别的作为后端的 API.添加层就像添加一行代码一样简单.在模型架构之后,使用一行代码,你可以编译和拟合模型.之后,它可以用于预测.变量声明.占位符甚至会话都由 API 管理. 具体做法 定义模型的类型.Keras 提供了两种类型的模型:序列和模型类 API.Keras 提供各种类型的神经网络层:   在 model.add() 的帮助下将层添加到模型中.依照 Keras 文档描述,Keras 提供全连接层的选项(针对密集连接的神经网络):…

Hornik 等人的工作(http://www.cs.cmu.edu/~bhiksha/courses/deeplearning/Fall.2016/notes/Sonia_Hornik.pdf)证明了一句话,“只有一个隐藏层的多层前馈网络足以逼近任何函数,同时还可以保证很高的精度和令人满意的效果.” 本节将展示如何使用多层感知机(MLP)进行函数逼近,具体来说,是预测波士顿的房价.第2章使用回归技术对房价进行预测,现在使用 MLP 完成相同的任务. 准备工作 对于函数逼近,这里的损失函数是 M…

反向传播(BPN)算法是神经网络中研究最多.使用最多的算法之一,它用于将输出层中的误差传播到隐藏层的神经元,然后用于更新权重. 学习 BPN 算法可以分成以下两个过程: 正向传播:输入被馈送到网络,信号从输入层通过隐藏层传播到输出层.在输出层,计算误差和损失函数. 反向传播:在反向传播中,首先计算输出层神经元损失函数的梯度,然后计算隐藏层神经元损失函数的梯度.接下来用梯度更新权重. 这两个过程重复迭代直到收敛. 前期准备 首先给网络提供 M 个训练对(X,Y),X 为输入,Y 为期望的输出.输入…

每个神经元都必须有激活函数.它们为神经元提供了模拟复杂非线性数据集所必需的非线性特性.该函数取所有输入的加权和,进而生成一个输出信号.你可以把它看作输入和输出之间的转换.使用适当的激活函数,可以将输出值限定在一个定义的范围内. 如果 xi 是第 j 个输入,Wj 是连接第 j 个输入到神经元的权重,b 是神经元的偏置,神经元的输出(在生物学术语中,神经元的激活)由激活函数决定,并且在数学上表示如下:   这里,g 表示激活函数.激活函数的参数 ΣWjxj​+b 被称为神经元的活动. 这里对给定输…

本节基于回归学习对 MNIST 数据集进行处理,但将添加一些 TensorBoard 总结以便更好地理解 MNIST 数据集. MNIST由https://www.tensorflow.org/get_started/mnist/beginners提供. 大部分人已经对 MNIST 数据集很熟悉了,它是机器学习的基础,包含手写数字的图像及其标签来说明它是哪个数字. 对于逻辑回归,对输出 y 使用独热(one-hot)编码.因此,有 10 位表示输出,每位的值为 1 或 0,独热意味着对于每个图片…

大多数人了解 Pandas 及其在处理大数据文件方面的实用性.TensorFlow 提供了读取这种文件的方法. 前面章节中,介绍了如何在 TensorFlow 中读取文件,本节将重点介绍如何从 CSV 文件中读取数据并在训练之前对数据进行预处理. 本节将采用哈里森和鲁宾菲尔德于 1978 年收集的波士顿房价数据集(http://lib.stat.cmu.edu/datasets/boston),该数据集包括 506 个样本场景,每个房屋含 14 个特征: CRIM:城镇人均犯罪率 ZN:占地 2…

正如你目前所看到的,神经网络的性能非常依赖超参数.因此,了解这些参数如何影响网络变得至关重要. 常见的超参数是学习率.正则化器.正则化系数.隐藏层的维数.初始权重值,甚至选择什么样的优化器优化权重和偏置. 超参数调整过程 调整超参数的第一步是构建模型.与之前一样,在 TensorFlow 中构建模型. 添加一种方法将模型保存在 model_file 中.在 TensorFlow 中,可以使用 Saver 对象来完成.然后保存在会话中:   确定要调整的超参数,并为超参数选择可能的值.在这里,你可…

TensorFlow 支持自动求导,可以使用 TensorFlow 优化器来计算和使用梯度.它使用梯度自动更新用变量定义的张量.本节将使用 TensorFlow 优化器来训练网络. 前面章节中,我们定义了层.权重.损失.梯度以及通过梯度更新权重.用公式实现可以帮助我们更好地理解,但随着网络层数的增加,这可能非常麻烦. 本节将使用 TensorFlow 的一些强大功能,如 Contrib(层)来定义神经网络层及使用 TensorFlow 自带的优化器来计算和使用梯度. 通过前面的学习,我们已经知道…

在 TensorFlow 实现简单线性回归的基础上,可通过在权重和占位符的声明中稍作修改来对相同的数据进行多元线性回归. 在多元线性回归的情况下,由于每个特征具有不同的值范围,归一化变得至关重要.这里是波士顿房价数据集的多重线性回归的代码,使用 13 个输入特征. 波士顿房价数据集可从http://lib.stat.cmu.edu/datasets/boston处获取. 多元线性回归的具体实现 导入需要的所有软件包:   因为各特征的数据范围不同,需要归一化特征数据.为此定义一个归一化函数.另外…

本节将针对波士顿房价数据集的房间数量(RM)采用简单线性回归,目标是预测在最后一列(MEDV)给出的房价. 波士顿房价数据集可从http://lib.stat.cmu.edu/datasets/boston处获取. 本小节直接从 TensorFlow contrib 数据集加载数据.使用随机梯度下降优化器优化单个训练样本的系数. 实现简单线性回归的具体做法 导入需要的所有软件包: 在神经网络中,所有的输入都线性增加.为了使训练有效,输入应该被归一化,所以这里定义一个函数来归一化输入数据: 现在使…

正如前面所讨论的,在回归中定义了损失函数或目标函数,其目的是找到使损失最小化的系数.本节将介绍如何在 TensorFlow 中定义损失函数,并根据问题选择合适的损失函数. 声明一个损失函数需要将系数定义为变量,将数据集定义为占位符.可以有一个常学习率或变化的学习率和正则化常数. 在下面的代码中,设 m 是样本数量,n 是特征数量,P 是类别数量.这里应该在代码之前定义这些全局参数: 在标准线性回归的情况下,只有一个输入变量和一个输出变量: 在多元线性回归的情况下,输入变量不止一个,而输出变量仍为…

机器之心报道 作者:邱陆陆 8 月中旬,谷歌大脑成员 Martin Wicke 在一封公开邮件中宣布,新版本开源框架——TensorFlow 2.0 预览版将在年底之前正式发布.今日,在上海谷歌开发者大会上,机器之心独家了解到一个重大的改变将会把 Eager Execution 变为 TensorFlow 默认的执行模式.这意味着 TensorFlow 如同 PyTorch 那样,由编写静态计算图全面转向了动态计算图. 谷歌开发者大会 在谷歌开发者大会的第二天,主会场全天都将进行 TensorF…

随着图像识别和深度学习领域的迅猛发展,GPU时代即将来临.由于GPU处理深度学习算法的高效性,使得配置一台搭载有GPU的服务器变得尤为必要. 本文主要介绍在Ubuntu 16.04环境下如何配置TensorFlow(GPU support)框架,实验所用的显卡为GeForce GTX 1080ti(OC),显存11G,频率1569-1708MHz,CUDA核心3584个,Compute Capability为6.1.下面详细介绍安装配置的详细步骤. 关于本人实验室所用硬件的配置清单,请访问. 1…

title: Ubuntu 16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano categories: 深度学习 tags: [深度学习框架搭建] --- 前言 经过一周的不懈努力,通过对网站各种安装教程的学习,终于呕心沥血的完成本次的环境搭建= =.虽然网站的教程多不胜数,但是学习下来,总有一些不尽人意的地方,比如一些命令行中少了一个空格或者什么的,对于一个Ubuntu小白(就像我一样+_+)来说出了问题,很难察觉.现在就根据我自身在安装过程中的一些体会…

TensorFlow 2.0 Alpha目前已经可以通过pip安装,亲测有效,安装指令为: # 普通版本 pip install tensorflow==2.0.0-alpha0 # GPU版本 pip install tensorflow-gpu==2.0.0-alpha0…

tensorflow升级到1.0之后,增加了一些高级模块: 如tf.layers, tf.metrics, 和tf.losses,使得代码稍微有些简化. 任务:花卉分类 版本:tensorflow 1.0 数据:http://download.tensorflow.org/example_images/flower_photos.tgz 花总共有五类,分别放在5个文件夹下. 闲话不多说,直接上代码,希望大家能看懂:) # -*- coding: utf-8 -*- from skimage im…

基本数值运算 除法和模运算符(/,//,%)现在匹配 Python(flooring)语义.这也适用于 [tf.div] 和 [tf.mod].要获取基于强制整数截断的行为,可以使用 [tf.truncatediv] 和 [tf.truncatemod]. 现在推荐使用 [tf.divide()] 作为除法函数.[tf.div()] 将保留,但它的语义不会回应 Python 3 或 [from future] 机制 [tf.mul,tf.sub ] 和 [tf.neg] 不再使用,改为 [tf.…

Win10 x64 + CUDA 10.0 + cuDNN v7.5 + TensorFlow GPU 1.13 安装指南 Update : 2019.03.08 0. 环境说明 硬件:Ryzen R7 1700x + GTX 1080Ti 系统:Windows 10 Enterprise Version 1809 Update March 2019 1. 前期工作 NVIDIA 419.35 驱动 Visual Studio 2017 (需要C++部分) Python 3.6.x x64 2.…

安装 TensorFlow 2.0 Alpha 本文仅仅介绍 Windows 的安装方式: pip install tensorflow==2.0.0-alpha0 # cpu 版本 pip install tensorflow==2.0.0-alpha0 # gpu 版本 针对 GPU 版的安装完毕后还需要设置环境变量: SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin;%PATH% SET PATH=C…

TensorFlow 1.2.0新版本完美支持Python3.6,windows在cmd中输入pip install tensorflow就能下载应用最新tensorflow 只需在cmd中输入pip install tensorflow就能下载应用最新tensorflow,再也无需转换到Python3.5了…

系统配置: Ubuntu14.04(x64) CUDA8.0 cudnn-8.0-linux-x64-v5.1.tgz(Tensorflow依赖) Anaconda 1. Torch安装 Torch是深度学习一个非常好的框架,使用人也特别多,之前一直使用caffe进行实验,最近一个实验需要在Torch下面跑,所以借此机会安装一下torch. Torch的官方文档已经说的非常详细,安装可以直接按照官方文档进行,官方文档戳我. 首先从github中down下来torch,放在-/torch文件夹下面…

  本文为原创作品,未经本人同意,禁止转载,禁止用于商业用途!本人对博客使用拥有最终解释权 欢迎关注我的博客:http://blog.csdn.net/hit2015spring和http://www.cnblogs.com/xujianqing 本文主要是介绍在ubuntu16.04下,怎么配置当下流行的深度学习框架,cuda8.0+cudnn+caffe+theano+tensorflow 安装英伟达显卡驱动 首先去官网上查看适合你GPU的驱动 (http://www.nvidia.com/…

1.TensorFlow2.0的安装测试 Linux Tensorflow Dev Summit 正式宣布 Tensorflow 2.0 进入 Alpha 阶段. 基于 Anaconda 创建环境一个尝鲜环境: conda create -n tf2 然后: pip install tensorflow-gpu=2.0.0-alpha 由于 2.0 依赖的是 CUDA 10 所以系统内多半没有,直接用 conda 在虚拟环境装一个: conda install cudatoolkit cudnn…

(RTX 2070 同样可以在 ubuntu 16.04 + cuda 9.0中使用.Ubuntu18.04可能只支持cuda10.0,在跑开源代码时可能会报一些奇怪的错误,所以建议大家配置 ubuntu16.04 + cuda 9.0.下文还是以ubuntu18.04 + cuda 10.0为例.ubuntu16.04 + cuda 9.0的配置方法大同小异) 虽然CUDA官网中没有RTX20系列GPU所对应的版本,但是CUDA 10.0 支持Ubuntu18.04 + GPU GEFORCE…

本节详细说明一下深度学习环境配置,Ubuntu 16.04 + Nvidia GTX 1080 + Python 3.6 + CUDA 9.0 + cuDNN 7.1 + TensorFlow 1.6. Python 3.6 首先安装 Python 3.6,这里使用 Anaconda 3 来安装,下载地址:https://www.anaconda.com/download/#linux,点击 Download 按钮下载即可,这里下载的是 Anaconda 3-5.1 版本,如果下载速度过慢可以选…

中文文档 TensorFlow 2 / 2.0 中文文档 知乎专栏 欢迎关注知乎专栏 https://zhuanlan.zhihu.com/geektutu 一.实战教程之强化学习 TensorFlow 2.0 (九) - 强化学习 70行代码实战 Policy Gradient TensorFlow 2.0 (八) - 强化学习 DQN 玩转 gym Mountain Car TensorFlow 2.0 (七) - 强化学习 Q-Learning 玩转 OpenAI gym TensorFl…

导入包 import tensorflow as tf from tensorflow import keras 加载数据 tensorflow可以调用keras自带的datasets,很方便,就是有一点让人不爽的是下载需要fq,而这个代理不太方便开,所以这里我把所有数据都下载下来了,并上传到了坚果云,方便大家下载. 下载连接 (访问密码:yDmqHd) 下载好之后,把输入放入C:\Users\用户名\.keras\datasets里面,如果没有datasets文件夹,就新建一个,然后直接把数据…

TensorFlow 2.0 将包含许多 API 变更,例如,对参数进行重新排序.重新命名符号和更改参数的默认值.手动执行所有这些变更不仅枯燥乏味,而且容易出错.为简化变更过程并让您尽可能顺畅地过渡到 TensorFlow 2.0,TensorFlow 工程团队创建了实用程序 tf_upgrade_v2,可帮助您将旧代码转换至新 API. 60s测试:你是否适合转型人工智能? https://edu.csdn.net/topic/ai30?utm_source=cxrs_bw 传送门: tf_u…