tf.random_shuffle 函数 random_shuffle( value, seed=None, name=None ) 定义在:tensorflow/python/ops/random_ops.py. 请参阅指南:生成常量,序列和随机值>随机张量 随机地将张量沿其第一维度打乱. 张量沿着维度0被重新打乱,使得每个 value[j] 被映射到唯一一个 output[i].例如,一个 3x2 张量可能出现的映射是: [[1, 2], [[5, 6], [3, 4], ==> [1,

修改Tensor特定位置的值 如 stack overflow 中提到的方案. TensorFlow不让你直接单独改指定位置的值,但是留了个歪门儿,就是tf.scatter_update这个方法,它可以批量替换张量某一维上的所有数据. def set_value(matrix, x, y, val): # 提取出要更新的行 row = tf.gather(matrix, x) # 构造这行的新数据 new_row = tf.concat([row[:y], [val], row[y+1:]],

[源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 目录 [源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 0x00 摘要 0x01 概述 1.1 前文回顾 0x02 基本概念 2.1 背景知识 2.2 产生原因 2.3 本质 2.4 VS 数据并行 2.5 解决问题 0x03 PyTorch 梯度累积 3.1 自动累积 3.2 代码示例 3.3 DistributedDataParallel 的梯度累积 3.3.1 单卡模型梯度累计 3.3.2 D

TensorFlow是一个采用数据流图,用于数值计算的开源软件库.自己接触tensorflow比较的早,可是并没有系统深入的学习过,现在TF在深度学习已经成了"标配",所以打算系统的学习一遍.在本篇文章中主要介绍TF的基础知识... 创建并运行图 首先创建 两个变量 import tensorflow as tf reset_graph() x = tf.Variable(3, name="x") y = tf.Variable(4, name="y&qu

TensorFlow基础 1.概念 TF使用图表示计算任务,图包括数据(Data).流(Flow).图(Graph) 图中节点称为op,一个op获得多个Tensor Tensor为张量,TF中用到的数据都是Tensor 图必须在会话中启动 示例 计算两个矩阵的乘积, x = tf.constant([[1.0,2.0,3.0],[1.0,2.0,3.0],[1.0,2.0,3.0]]) y = tf.constant([[0,0,1.0],[0,0,1.0],[0,0,1.0]]) z = tf

1.导入依赖包,初始化一些常量 import collections import numpy as np import tensorflow as tf TRAIN_DATA = "./data/ptb.train.txt" # 训练数据路径 TEST_DATA = "./data/ptb.test.txt" # 测试数据路径 EVAL_DATA = "./data/ptb.valid.txt" # 验证数据路径 HIDDEN_SIZE = 3

tf.train 提供了一组帮助训练模型的类和函数. 优化器 优化器基类提供了计算渐变的方法,并将渐变应用于变量.子类的集合实现了经典的优化算法,如 GradientDescent和Adagrad. 您永远不会实例化优化器类本身,而是实例化其中一个子类. tf.train.Optimizer tf.train.GradientDescentOptimizer tf.train.AdadeltaOptimizer tf.train.AdagradOptimizer tf.train.Adagrad

TensorFlow是一个采用数据流图,用于数值计算的开源软件库.自己接触tensorflow比较的早,可是并没有系统深入的学习过,现在TF在深度学习已经成了"标配",所以打算系统的学习一遍.在本篇文章中主要介绍TF的基础知识... 创建并运行图 首先创建 两个变量 import tensorflow as tf reset_graph() x = tf.Variable(3, name="x") y = tf.Variable(4, name="y&qu

tensorflow功能函数 tf.abs 计算张量的绝对值 abs ( x , name = None ) 定义在:tensorflow/python/ops/math_ops.py. 参考指南:数学>基本数学函数 计算张量的绝对值. 给定一个实数的张量 x,该操作返回一个包含每个元素的绝对值的张量 x.例如,如果 x 是输入元素,y 是输出元素,则此操作将计算\\(y = | x | \\). ARGS: x:一个类型为 float32,float64,int32,或 int64 的 Ten

目录 什么是function FunctionDef 函数相关类 关系图 涉及的文件 迭代记录 1. 什么是function 在讲解function的概念之前,我们要先回顾下op.op是规定了输入和输出的操作声明,在研究node的时候我们也看到,NodeDef是包含OpDef的,那么是不是op就只能是节点级别的操作呢?并非如此,操作是可以嵌套的,也就是说,操作A可能内部包含了操作B.C.D.从这个角度理解function就容易了,function其实就是一些大的op.函数的本质是给定输入,经过计

1. tf.matmul(X, w) # 进行点乘操作 参数说明:X,w都表示输入的数据, 2.tf.equal(x, y) # 比较两个数据对应位置的数是否相等,返回值为True,或者False 参数说明:x,y表示需要比较的两组数 3.tf.cast(y, 'float') # 将布尔类型转换为数字类型 参数说明:y表示输入的数据,‘float’表示转换的数据类型 4.tf.argmax(y, 1) # 返回每一行的最大值的索引 参数说明:y表示输入数据,1表示每一行的最大值的索引,0表示每

前言 本文接着上一篇继续来聊Tensorflow的接口,上一篇中用较低层的接口实现了线性模型,本篇中将用更高级的API--tf.estimator来改写线性模型. 还记得之前的文章<机器学习笔记2 - sklearn之iris数据集>吗?本文也将使用tf.estimator改造该示例. 本文代码都是基于API版本r1.4.本文中本地开发环境为Pycharm,在文中不再赘述. tf.estimator 内置模型 比起用底层API"较硬"的编码方式,tf.estimator的在

1. tf.nn.moments(x, axes=[0, 1, 2])  # 对前三个维度求平均值和标准差,结果为最后一个维度,即对每个feature_map求平均值和标准差 参数说明:x为输入的feature_map, axes=[0, 1, 2] 对三个维度求平均,即每一个feature_map都获得一个平均值和标准差 2.with tf.control_dependencies([train_mean, train_var]): 即执行with里面的操作时,会先执行train_mean 和

TF的核心是围绕Graph展开的,简而言之,就是Tensor沿着Graph传递闭包完成Flow的过程.所以在介绍Graph之前需要讲述一下符号编程.计算流图.梯度计算.控制流的概念. 张量(Tensor) 名字就是TensorFlow,直观来看,就是张量的流动.张量(tensor),即任意维度的数据,一维.二维.三维.四维等数据统称为张量.而张量的流动则是指保持计算节点不变,让数据进行流动.这样的设计是针对连接式的机器学习算法.连接式的机器学习算法可以把算法表达成一张图,张量从图中从前到后走一遍

1.cv2.resize(image, (image_size, image_size), 0, 0, cv2.INTER_LINEAR) 参数说明:image表示输入图片,image_size表示变化后的图片大小,0, 0表示dx和dy, cv2.INTER_LINEAR表示插值的方式为线性插值 2.image.get_shape[1:4].num_elements() 获得最后三个维度的大小之和 参数说明:image表示输入的图片 3. saver.save(sess, path, glob

阅读笔记: 仅希望对底层有一定必要的感性认识,包括一些基本核心概念. Here只关注Graph相关,因为对编程有益. TF – Kernels模块部分参见:https://mp.weixin.qq.com/s/vwSlxxD5Ov0XwQCKy1oyuQ TF – Session部分,也可以在起专题总结:https://mp.weixin.qq.com/s/Bi6Rg-fEwyN4uIyRHDPhXg Tensorflow Download: https://github.com/tensorf

线性回归: 注:为偏置项,这一项的x的值假设为[1,1,1,1,1....] 注:为使似然函数越大,则需要最小二乘法函数越小越好 线性回归中为什么选用平方和作为误差函数?假设模型结果与测量值 误差满足,均值为0的高斯分布,即正态分布.这个假设是靠谱的,符合一般客观统计规律.若使 模型与测量数据最接近,那么其概率积就最大.概率积,就是概率密度函数的连续积,这样,就形成了一个最大似然函数估计.对最大似然函数估计进行推导,就得出了推导后结果: 平方和最小公式 注: 1.x的平方等于x的转置乘以x. 2

张量的定义 张量(Tensor)理论是数学的一个分支学科,在力学中有重要应用.张量这一术语起源于力学,它最初是用来表示弹性介质中各点应力状态的,后来张量理论发展成为力学和物理学的一个有力的数学工具.张量之所以重要,在于它可以满足一切物理定律必须与坐标系的选择无关的特性.张量概念是矢量概念的推广,矢量是一阶张量.张量是一个可用来表示在一些矢量.标量和其他张量之间的线性关系的多线性函数(可以理解成是向量.矩阵以及更高维结构的统称). But we don’t have to restrict our

1. slim.arg_scope(函数, 传参) # 对于同类的函数操作,都传入相同的参数 from tensorflow.contrib import slim as slim import tensorflow as tf @slim.add_arg_scope # 进行修饰操作 def fun1(a=0, b=0): return a + b with slim.arg_scope([fun1], a=2): x = fun1(b=2) print(x)# 4 2. tf.name_sc

这里实现一个用神经网络(卷积神经网络也可以)实现验证码识别的小案例,主要记录本人做这个案例的流程,不会像之前那么详细,主要用作个人记录用... 这里是验证码的四个字母,被one-hot编码后形成的四个一维数组,[1, 26] * 4 ----> 可以转变成[4, 26] ----> [1, 104] 第一个位置:[0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0] 第二个位置:[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0

在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练.其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点. 下面我们以线性回归算法来对三种梯度下降法进行比较. 一般线性回归函数的假设函数为: $h_{\theta}=\sum_{j=0}^{n}\theta_{j}x_{j}$ 对应的能量函数(损失函数)形式为: $J_{train}(\theta)=1/(2m)\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$