用一个非常简单的例子学习导出和加载模型: 导出 写一个y=a*x+b的运算,然后保存graph: import tensorflow as tf from tensorflow.python.framework.graph_util import convert_variables_to_constants with tf.Session() as sess: a = tf.Variable(5.0, name='a') x = tf.Variable(6.0, name='x') b = tf…
TensorFlow 更新频率实在太快,从 1.0 版本正式发布后,很多 API 接口就发生了改变.今天用 TF 训练了一个 CNN 模型,结果在保存模型的时候居然遇到各种问题.Google 搜出来的答案也是莫衷一是,有些回答对 1.0 版本的已经不适用了.后来实在没办法,就翻了墙去官网看了下,结果分分钟就搞定了-囧-. 这篇文章内容不多,主要讲讲 TF v1.0 版本中保存和读取模型的最简单用法,其实就是对官网教程的简要翻译摘抄. 保存和恢复 在 TensorFlow 中,保存和恢复模型最简单…
删除PBL目录的方法:直接点删除键删除 加载PBL文件的方法:点Browse按钮选择PBL文件…
tensorflow学习笔记——使用TensorFlow操作MNIST数据(1) 一:神经网络知识点整理 1.1,多层:使用多层权重,例如多层全连接方式 以下定义了三个隐藏层的全连接方式的神经网络样例代码: import tensorflow as tf l1 = tf.matmul(x, w1) l2 = tf.matmul(l1, w2) y = tf.matmul(l2,w3) 1.2,激活层:引入激活函数,让每一层去线性化 激活函数有多种,例如常用的 tf.nn.relu  tf.nn.…
tensorflow学习笔记2 edit by Strangewx 2019.01.04 4.1 机器学习基础 4.1.1 一般结构: 初始化模型参数:通常随机赋值,简单模型赋值0 训练数据:一般打乱.random.shuffle() 在训练数据上推断模型:得到输出 计算损失:loss(X, Y)多种损失函数 调整模型参数:最小化损失 SGD等优化方法. 评估:70%:30% 分训练集和校验集 代码框架: 首先模型参数初始化, 然后为每个训练闭环中的运算定义一个方法:读取训练数据input,计算…
tensorflow学习笔记: 3.2 Tensorflow中定义数据流图 张量知识矩阵的一个超集. 超集:如果一个集合S2中的每一个元素都在集合S1中,且集合S1中可能包含S2中没有的元素,则集合S1就是S2的一个超集,反过来,S2是S1的子集. 张量形状: 固定长度: [],() 0阶次:[3],(2,3) 1/2阶次 不定长度:[None] 表示任意长度的向量,(None,3) 表示行数任意,3列的矩阵 获取Op:tf.shape(tensor, name="tensor_shape&qu…
续集请点击我:tensorflow学习笔记——使用TensorFlow操作MNIST数据(2) 本节开始学习使用tensorflow教程,当然从最简单的MNIST开始.这怎么说呢,就好比编程入门有Hello World,机器学习入门有MNIST.在此节,我将训练一个机器学习模型用于预测图片里面的数字. 开始先普及一下基础知识,我们所说的图片是通过像素来定义的,即每个像素点的颜色不同,其对应的颜色值不同,例如黑白图片的颜色值为0到255,手写体字符,白色的地方为0,黑色为1,如下图. MNIST…
卷积网络 卷积神经网络(Convolutional Neural Network,CNN)专门处理具有类似网格结构的数据的神经网络.如: 时间序列数据(在时间轴上有规律地采样形成的一维网格): 图像数据(二维的像素网格): 卷积网络是指至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络. 卷积 前面讲过卷积, 相关算法这里直接使用. 卷积公式为:\(s(t)=\int_{-\infty}^{t}x(\tau)w(t-\tau)d\tau\),记作\(s(t)=(x*w)(t)\).…
tf.data卷积神经网络综合应用实例 使用tf.data建立自己的数据集,并使用CNN卷积神经网络实现对卫星图像的二分类问题. 数据下载链接:https://pan.baidu.com/s/141zi1BvDU6rHsq5VKgRl4Q  提取码:2kbc 1.使用tf.data建立数据集 使用tf.data将已有的图片打上标签,并将数据分为训练集与测试集用于训练神经网络. 下面将逐步介绍如何建立数据集. 1.1读取windows下的文件路径 首先,头文件走一波(python中应该叫导入模块)…
使用CNN卷积神经网络(2) 使用Tensorflow搭建简单的CNN卷积神经网络对fashion_mnist数据集进行分类 不了解是那么是CNN卷积神经网络的小伙伴可以参考上一篇博客(Tensorflow学习笔记No.4.1) 2.Tensorflow卷积神经网络相关API简介 2.1.keras.layers.Conv2D()二维卷积层 例如: model.add(keras.layers.Conv2D(128, (3, 3), activation = 'relu', padding =…
tf.data与自定义训练综合实例 使用tf.data自定义猫狗数据集,并使用自定义训练实现猫狗数据集的分类. 1.使用tf.data创建自定义数据集 我们使用kaggle上的猫狗数据以及tf.data来建立自己的猫狗数据集. tf.data详细的使用方法中在Tensorflow学习笔记No.5中以经介绍过,这里只简略讲述. 打开kaggle中的notebook,点击右侧"+Add data",搜索如下数据集,并点击右侧"Add". 随后Cat and Dog这个数…
使用VGG16网络进行迁移学习 使用在ImageNet数据上预训练的VGG16网络模型对猫狗数据集进行分类识别. 1.预训练网络 预训练网络是一个保存好的,已经在大型数据集上训练好的卷积神经网络. 如果这个数据集足够大且通用,那么预训练网络学习到的模型参数可以有效的对图片进行特征提取.即使新问题与原本的数据完全不同,但学习到的特征提取方法依然可以在不同的问题之间进行移植,进而可以在全新的数据集上提取到有效的特征.对这些有效的高级特征进行分类可以大大提高模型分类的准确率. 迁移学习主要适用于已有数…
简介 上一篇笔记:Tensorflow学习笔记1:Get Started 我们谈到Tensorflow是基于图(Graph)的计算系统.而图的节点则是由操作(Operation)来构成的,而图的各个节点之间则是由张量(Tensor)作为边来连接在一起的.所以Tensorflow的计算过程就是一个Tensor流图.Tensorflow的图则是必须在一个Session中来计算.这篇笔记来大致介绍一下Session.Graph.Operation和Tensor. Session Session提供了O…
深度学习-tensorflow学习笔记(1)-MNIST手写字体识别预备知识 在tf第一个例子的时候需要很多预备知识. tf基本知识 香农熵 交叉熵代价函数cross-entropy 卷积神经网络 softmax   这里用到的tf基本知识 tf.tensor-张量,其实就是矩阵.官方说法是原料 tf.Varible-变量,用来记录数据,参数.其实也是个矩阵.不过要初始化后才有具体的值 tf.Session()-会话,就是个模型,我们可以在里面添加数据流动方向,运算节点 香农熵 香农熵是计算信息…
深度学习-tensorflow学习笔记(2)-MNIST手写字体识别超级详细版 这是tf入门的第一个例子.minst应该是内置的数据集. 前置知识在学习笔记(1)里面讲过了 这里直接上代码 # -*- coding: utf-8 -*- """ Created on Fri May 25 14:09:45 2018 @author: Administrator """ #导入数据集 from tensorflow.examples.tutoria…
tensorflow学习笔记(3)前置数学知识 首先是神经元的模型 接下来是激励函数 神经网络的复杂度计算 层数:隐藏层+输出层 总参数=总的w+b 下图为2层 如下图 w为3*4+4个   b为4*2+2 接下来是损失函数 主流的有均分误差,交叉熵,以及自定义 这里贴上课程里面的代码 # -*- coding: utf-8 -*- """ Created on Sat May 26 18:42:08 2018 @author: Administrator "&qu…
tensorflow学习笔记(2)-反向传播 反向传播是为了训练模型参数,在所有参数上使用梯度下降,让NN模型在的损失函数最小 损失函数:学过机器学习logistic回归都知道损失函数-就是预测值和真实值得差距,比如sigmod或者cross-entropy 均方误差:tf.reduce_mean(tf.square(y-y_))很好理解,假如在欧式空间只有两个点的的话就是两点间距离的平方,多点就是多点误差的平方和除以对比点个数 学习率:决定了参数每次更新的幅度 反向传播训练方法:为了减小los…
tensorflow学习笔记(1) (1)tf中的图 图中就是一个计算图,一个计算过程.                                       图中的constant是个常量 计算图只描述过程,不执行. (2)tf中的会话 那么怎么计算呢? tensorflow有个会话是专门用来计算的 import tensorflow as tf x=tf.constant([[1.0,2.0]]) w=tf.constant([[3.0],[4.0]]) y=tf.matmul(x,w…
1,自编码器简介 传统机器学习任务很大程度上依赖于好的特征工程,比如对数值型,日期时间型,种类型等特征的提取.特征工程往往是非常耗时耗力的,在图像,语音和视频中提取到有效的特征就更难了,工程师必须在这些领域有非常深入的理解,并且使用专业算法提取这些数据的特征.深度学习则可以解决人工难以提取有效特征的问题,它可以大大缓解机器学习模型对特征工程的依赖.深度学习在早期一度被认为是一种无监督的特征学习(Unsuperbised Feature Learning),模仿了人脑的对特征逐层抽象提取的过程.这…
在之前的TensorFlow学习笔记——图像识别与卷积神经网络(链接:请点击我)中了解了一下经典的卷积神经网络模型LeNet模型.那其实之前学习了别人的代码实现了LeNet网络对MNIST数据集的训练.而这篇文章是想自己完成LeNet网络来训练自己的数据集.LeNet主要用来进行手写字符的识别与分类,下面记录一下自己学习的过程. 我的学习步骤分为以下四步: 1,温习LeNet-5的网络层 2,使用LeNet-5训练MNIST数据集 3,使用LeNet-5训练TFRecord格式的MNIST数据集…
2014年,牛津大学计算机视觉组(Visual Geometry Group)和 Google DeepMind 公司的研究员一起研发了新的深度卷积神经网络:VGGNet ,并取得了ILSVRC2014比赛分类项目的第二名(第一名是GoogLeNet,也是同年提出的)和定位项目的第一名. VGGNet探索了卷积神经网络的深度与其性能直接的关系,通过反复堆叠 3*3 的小型卷积核和 2*2 的最大池化层,VGGNet成功的构筑了16~19层深的卷积神经网络.VGGNet相比之前的 state-of…
TensorFlow学习笔记5-概率与信息论 本笔记内容为"概率与信息论的基础知识".内容主要参考<Deep Learning>中文版. \(X\)表示训练集的设计矩阵,其大小为m行n列,m表示训练集的大小(size),n表示特征的个数: \(W\)表示权重矩阵,其大小是n行k列,n为输入特征的个数,k为输出(特征)的个数: \(\boldsymbol{y}\)表示训练集对应标签,其大小为m行,m表示训练集的大小(size): \(\boldsymbol{y'}\)表示将测…
TensorFlow学习笔记4-线性代数基础 本笔记内容为"AI深度学习".内容主要参考<Deep Learning>中文版. \(X\)表示训练集的设计矩阵,其大小为m行n列,m表示训练集的大小(size),n表示特征的个数: \(W\)表示权重矩阵,其大小是n行k列,n为输入特征的个数,k为输出(特征)的个数: \(\boldsymbol{y}\)表示训练集对应标签,其大小为m行,m表示训练集的大小(size): \(\boldsymbol{y'}\)表示将测试向量\(…
TensorFlow学习笔记1-入门 作者: YunYuan *** 写在前面 本笔记是我学习TensorFlow官方文档中文版的读书笔记,由于尚未搭建好Github的个人博客的评论功能,故尚不方便与各位交流.如有问题,可邮箱联系. TensorFlow运算的本质是有状态的数据流式图.TensorFlow的直译是"流动的张量". 特点:计算模型简洁灵活,计算性能显著提升,支持更多的异构计算系统. 一些概念: 有向图(计算图):由节点(node)和边(edge)组成.节点表示运算操作,节…
在Keras框架下训练深度学习模型时,一般思路是在训练环境下训练出模型,然后拿训练好的模型(即保存模型相应信息的文件)到生产环境下去部署.在训练过程中我们可能会遇到以下情况: 需要运行很长时间的程序在迭代到中间某一代时出现意外:人为地想停止训练过程,也许是为了用测试数据测试模型,然后从上一个检查点继续训练模型:想通过损失函数和评估指标,在每次训练过程中保存模型的最佳版本.       以上这些情况都要求我们能够在训练过程中保存模型和加载模型,下面将通过这篇博客来总结一下最近学习的Keras框架下…
[TensorFlow API](https://www.tensorflow.org/versions/r0.12/how_tos/variable_scope/index.html) TensorFlow是目前最火的深度学习框架. TensorFlow的环境搭建官网和其他博客都有较多例子,这里不再重复. 本机实验环境macOS Sierra 10.12.3tensorflow 1.0.0 CPU版本Python 3.6.0 TensorFlow测试样例 首先TensorFlow支持C.C++…
多输出模型 使用函数式API构建多输出模型完成多标签分类任务. 数据集下载链接:https://pan.baidu.com/s/1JtKt7KCR2lEqAirjIXzvgg 提取码:2kbc 1.读取数据并构建数据集 详细的API介绍在Tensorflow学习笔记5.0中均有提及,这里只简单讲述方法流程并展示代码. 1.1图片数据读取 首先导入需要的模块(运行环境为jupyternotebook). 1 import tensorflow as tf 2 import numpy as np…
图像定位 图像定位是指在图像中将我们需要识别的部分使用定位框进行定位标记,本次主要讲述如何使用tensorflow2.0实现简单的图像定位任务. 我所使用的定位方法是训练神经网络使它输出定位框的四个顶点的坐标,通过这四个坐标来定位需要识别对象的位置. 数据集:https://pan.baidu.com/s/1dv-r19KixYhA1CfX2n06Hg 提取码:2kbc (数据集中的压缩文件需要解压) 1.数据读入 1.1图片读入 图片的读入在前面的博客中已经展示过很多次了,这里不再赘述,详情可…
原文:thinkphp学习笔记9-自动加载 1.命名空间自动加载 在3.2版本中不需要手动加载类库文件,可以很方便的完成自动加载. 系统可以根据类的命名空间自动定位到类库文件,例如定义了一个类Org\Util\Auth类: namespace Org\Util; class Auth { } 保存到ThinkPHP/Library/Org/Util/Auth.class.php 这样我们就可以直接实例化了, new \Org\Util\Auth(); 实例化之后系统会自动加载 ThinkPHP/…
I optimizer.minimize(loss, var_list) 我们都知道,TensorFlow为我们提供了丰富的优化函数,例如GradientDescentOptimizer.这个方法会自动根据loss计算对应variable的导数.示例如下: loss = ... opt = tf.tf.train.GradientDescentOptimizer(learning_rate=0.1) train_op = opt.minimize(loss) init = tf.initiali…