Deep Learning系统实训之二：梯度下降原理

基本概念理解: 一个epoch:当前所有数据都跑(迭代)了一遍: 那么两个epoch,就是把所有数据跑了两遍,三个epoch就是把所有数据跑了三遍,以此类推. batch_size:每次迭代多少个数据:(batch_size称作批处理, 它的作用可以理解为每次训练100个数据(在这里假设将其设置为100),找到最适合的优化方向,确保不偏离最优那个的方向) epoch 和 batch_size 的关系:一个epoch值除以batch_size=迭代次数. 例如: 有50000个数据,那么一个epo…

Deep Learning系统实训之三：卷积神经网络

边界填充(padding):卷积过程中,越靠近图片中间位置的像素点越容易被卷积计算多次,越靠近边缘的像素点被卷积计算的次数越少,填充就是为了使原来边缘像素点的位置变得相对靠近中部,而我们又不想让填充的数据影响到我们的计算结果,故填充值选择均用0来填充. 池化层不需要参数.只是对特征图进行压缩操作,以减少计算量:池化几乎不用平均池化,多用最大池化操作,对于最大池化,多选择特征图种每个小区域最大的那个值保留下来,因值最大,对应的信息也越重要,故最应将其保留.…

Deep Learning系统实训之一：深度学习基础知识

K-近邻与交叉验证 1 选取超参数的正确方法是:将原始训练集分为训练集和验证集,我们在验证集上尝试不同的超参数,最后保留表现最好的那个. 2 如果训练数据量不够,使用交叉验证法,它能帮助我们在选取最优超参数的时候减少噪音. 3 一旦找到最优的超参数,就让算法以该参数在测试集跑且只跑一次,并根据测试结果评价算法. 4 最近邻分类器能够在CIFAR-10上得到将近40%的准确率.该算法简单易实现,但需要存储所有训练数据,并且在测试时过于消耗计算能力. 5 最后,我们知道了仅仅使用L1和L2范数来进行…

Android实训案例(二)——Android下的CMD命令之关机重启以及重启recovery

Android实训案例(二)--Android下的CMD命令之关机重启以及重启recovery Android刚兴起的时候,着实让一些小众软件火了一把,切水果,Tom猫,吹裙子就是其中的代表,当然还有实用性很强的关机重启软件,我们去百度上搜索一下上百万的下载量是开发者都不敢想象的成绩,今天,我们就来剖析一下这款软件的开发截图一.了解CMD 命令我们在cmd下进行的操作什么的,这里就不一一细说了我们只要知道下面这几条命令就可以了重启:su -c reboot 关机:reboot -p 有…

[Deep Learning] 深度学习中消失的梯度

好久没有更新blog了,最近抽时间看了Nielsen的<Neural Networks and Deep Learning>感觉小有收获,分享给大家. 了解深度学习的同学可能知道,目前深度学习面临的一个问题就是在网络训练的过程中存在梯度消失问题(vanishing gradient problem),或者更广义地来讲就是不稳定梯度问题.那么到底什么是梯度消失呢?这个问题又是如何导致的呢?这就是本文要分享的内容. 1. 消失的梯度首先,我们将一个网络在初始化之后在训练初期的结果可视化如下: 在…

Coursera Deep Learning笔记序列模型（二）NLP & Word Embeddings(自然语言处理与词嵌入)

参考 1. Word Representation 之前介绍用词汇表表示单词,使用one-hot 向量表示词,缺点:它使每个词孤立起来,使得算法对相关词的泛化能力不强. 从上图可以看出相似的单词分布距离较近,从而也证明了Word Embeddings能有效表征单词的关键特征. 2. 词嵌入(word embedding) Transfer learning and word embedding: 从海量词汇库中学习word embeddings(即所有单词的特征向量),或者从网上下载预训练好的w…

Deep Learning学习随记（二）Vectorized、PCA和Whitening

接着上次的记,前面看了稀疏自编码.按照讲义,接下来是Vectorized, 翻译成向量化?暂且这么认为吧. Vectorized: 这节是老师教我们编程技巧了,这个向量化的意思说白了就是利用已经被优化了的数值运算来编程,矩阵的操作尽量少用for循环,用已有的矩阵运算符来操作.这里只是粗略的看了下,有些小技巧还是不错的. PCA: PCA这个以前都接触过了,简单说就是两步: 1.协方差矩阵其中x(i)是输入样本(假设已经均值化). 2.SVD分解,得出U向量.其中U向量的每列就是样本的新的方向…

实训十二（stick的设定）

上篇我们介绍到人物主角的设定,其实人物是有工具使的,那就是——stick小棍. 信息的获取.起始位置.长度的加载.边界的判断.位置.长度重置是需要我们主要考虑的问题信息获取上考虑的使什么时候加载stick 游戏开始+触摸事件触发等 virtual bool onTouchBegan(Touch* pTouch, Event* pEvent);virtual void onTouchMoved(Touch* pTouch, Event* pEvent);virtual void onTouchE…

[Deep Learning] 常用的Active functions & Optimizers

深度学习的基本原理是基于人工神经网络,输入信号经过非线性的active function,传入到下一层神经元:再经过下一层神经元的activate,继续往下传递,如此循环往复,直到输出层.正是因为这些active functions的堆砌,深度学习才被赋予了解决非线性问题的能力.当然,仅仅靠active functions还不足于使得深度学习具有"超能力",训练过程中的优化器对于组织神经网络中的各个神经元起到了至关重要的角色.本文简单汇总一些常用的active functions和op…

Paper List ABOUT Deep Learning

Deep Learning 方向的部分 Paper ,自用.一 RNN 1 Recurrent neural network based language model RNN用在语言模型上的开山之作 2 Statistical Language Models Based on Neural Networks Mikolov的博士论文,主要将他在RNN用在语言模型上的工作进行串联 3 Extensions of Recurrent Neural Network Language Model 开山之…

Deep Learning方向的paper

转载 http://hi.baidu.com/chb_seaok/item/6307c0d0363170e73cc2cb65 个人阅读的Deep Learning方向的paper整理,分了几部分吧,但有些部分是有交叉或者内容重叠,也不必纠结于这属于DNN还是CNN之类,个人只是大致分了个类.目前只整理了部分,剩余部分还会持续更新. 一 RNN 1 Recurrent neural network based language model RNN用在语言模型上的开山之作 2 Statistical…

Deep Learning 33：读论文“Densely Connected Convolutional Networks”-------DenseNet 简单理解

一.读前说明 1.论文"Densely Connected Convolutional Networks"是现在为止效果最好的CNN架构,比Resnet还好,有必要学习一下它为什么效果这么好. 2.代码地址:https://github.com/liuzhuang13/DenseNet 3.这篇论文主要参考了Highway Networks,Residual Networks (ResNets)和GoogLeNet,所以在读本篇论文之前,有必要读一下这几篇论文,另外还可以看一下Very…

深度学习（二）BP求解过程和梯度下降

一.原理重点:明白偏导数含义,是该函数在该点的切线,就是变化率,一定要理解变化率. 1)什么是梯度梯度本意是一个向量(矢量),当某一函数在某点处沿着该方向的方向导数取得该点处的最大值,即函数在该点处沿方向变化最快,变化率最大(为该梯度的模). 2)代价函数有哪些 0-1损失函数(0-1 loss function): L(Y,f(X))={1,0,Y≠f(X)Y=f(X) 平方损失函数(quadratic loss function) L(Y,f(X))=(Y−f(X))2 绝对损失函数(a…

Neural Networks and Deep Learning（week2）Logistic Regression with a Neural Network mindset（实现一个图像识别算法）

Logistic Regression with a Neural Network mindset You will learn to: Build the general architecture of a learning algorithm, including: Initializing parameters(初始化参数) Calculating the cost function and its gradient(计算代价函数,和他的梯度) Using an optimization…

[AI]神经网络章2　神经网络中反向传播与梯度下降的基本概念

反向传播和梯度下降这两个词,第一眼看上去似懂非懂,不明觉厉.这两个概念是整个神经网络中的重要组成部分,是和误差函数/损失函数的概念分不开的. 神经网络训练的最基本的思想就是:先“蒙”一个结果,我们叫预测结果a,看看这个预测结果和事先标记好的训练集中的真实结果y之间的差距,然后调整策略,再试一次,这一次就不是“蒙”了,而是有依据地向正确的方向靠近.如此反复多次,一直到预测结果和真实结果之间相差无几,亦即|a-y|->0,就结束训练. 在神经网络训练中,我们把“蒙”叫做初始化,可以随机,也可以根据以…

掌握Spark机器学习库-07-随机梯度下降

1)何为随机梯度下降优化方法迭代更新,来寻找函数全局最优解的方法与最小二乘法相比:适用于变量众多,模型更复杂 2)梯度变化最快,“陡峭” 通过函数表达式来衡量梯度 3)随机梯度下降原理推导过程 4)随机梯度下降的优点计算量更小擅长大量样本学习率决定了算法速度…

使用多个梯度下降的方式进行测试，同时使用ops.apply_gradient进行梯度的下降

1. ops = tf.train.GradientDescentOptimizer(learning_rate) 构建优化器参数说明:learning_rate 表示输入的学习率 2.ops.compute_gradients(loss, tf.train_variables(), colocate_gradients_with_ops=True) 参数说明:loss表示损失值, tf.train_variables() 表示需要更新的参数, colocate_gradients_with_…

Deep Learning（深度学习）学习笔记整理(二）

本文整理了网上几位大牛的博客,详细地讲解了CNN的基础结构与核心思想,欢迎交流. [1]Deep learning简介 [2]Deep Learning训练过程 [3]Deep Learning模型之:CNN卷积神经网络推导和实现 [4]Deep Learning模型之:CNN的反向求导及练习 [5]Deep Learning模型之:CNN卷积神经网络(一)深度解析CNN [6]Deep Learning模型之:CNN卷积神经网络(二)文字识别系统LeNet-5 [7]Deep Learning…

Deep learning：四十二(Denoise Autoencoder简单理解)

前言: 当采用无监督的方法分层预训练深度网络的权值时,为了学习到较鲁棒的特征,可以在网络的可视层(即数据的输入层)引入随机噪声,这种方法称为Denoise Autoencoder(简称dAE),由Bengio在08年提出,见其文章Extracting and composing robust features with denoising autoencoders.使用dAE时,可以用被破坏的输入数据重构出原始的数据(指没被破坏的数据),所以它训练出来的特征会更鲁棒.本篇博文主要是根据Benig…

c++课程实训银行储蓄系统

基本要求:定义了用户类(User)和银行类(Bank),用成员函数实现各种功能,多文件组织程序.能用文本文件存取数据(如演示样例中给出的技术): 拓展方向: 序号加分项目细则 1 改变Bank类中用户信息的存储方式用对象的指针数组存储(User *user[upNum]) 或者用动态数组(User *users.空间用new分配) 2 功能扩充按银行实际业务的要求,添加User类中的数据成员,可以记录身份证号.家庭住址等信息,并在相关业务中使用这些数据. 记录用户的每一笔业…

Deep Learning（深度学习）学习笔记整理系列之（二）

Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除.…

Android实训案例（九）——答题系统的思绪，自己设计一个题库的体验，一个思路清晰的答题软件制作过程

Android实训案例(九)--答题系统的思绪,自己设计一个题库的体验,一个思路清晰的答题软件制作过程项目也是偷师的,决心研究一下数据库.所以写的还是很详细的,各位看官,耐着性子看完,实现结果不重要,思路一定要清晰,我们做一个简单的项目,所以也就设计的比较简陋了,首先新建一个项目--AnswerSystem 一.实现项目框架主页面就是一个问题,四个答案,还有一个正确答案,最后就是翻页了,正确答案默认是隐藏的,所以我们的layout_mian.xml是这样实现的 <?xml version=&qu…

Deep Learning（深度学习）学习笔记整理系列二

声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除. 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢. 4)阅读本文需要机器学习.计算机视觉.神经网络等等基础(如果没有也没关系了,没有就看看,能不能看懂,呵呵). 5)此属于第一版本,若有…

课程二(Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization)，第一周（Practical aspects of Deep Learning） —— 4.Programming assignments:Gradient Checking

Gradient Checking Welcome to this week's third programming assignment! You will be implementing gradient checking to make sure that your backpropagation implementation is correct. By completing this assignment you will: - Implement gradient checking…

(Stanford CS224d) Deep Learning and NLP课程笔记（二）：word2vec

本节课将开始学习Deep NLP的基础--词向量模型. 背景 word vector是一种在计算机中表达word meaning的方式.在Webster词典中,关于meaning有三种定义: the idea that is represented by a word, phrase, etc. the idea that a person wants to express by using words, signs, etc. the idea that is expressed in a w…