博主学习的源头,感谢!https://www.jianshu.com/p/95a8f035c86c 归一化 (Normalization).标准化 (Standardization)和中心化/零均值化 (Zero-centered)归一化:1)把数据变成(0,1)或者(1,1)之间的小数.标准化:使每个特征中的数值平均变为0(将每个特征的值都减掉原始资料中该特征的平均).标准差变为1中心化:平均值为0,对标准差无要求归一化和标准化的区别:归一化是将样本的特征值转换到同一量纲下把数据映射到[0,1

2.3激活函数sigmoid函数 f(x)= 1/(1 + e^-x)tf.nn.sigmoid(x)特点:(1)求导后的数值在0-0.25之间,链式相乘之后容易使得值趋近于0,形成梯度消失 (2)输出非0均值.收敛慢 (3)幂运算复杂,训练时间长 tanh函数 f(x)=(1-e^-2x)/(1+e^-2x)tf.math.tanh(x)特点:(1)输出是0均值 (2)导数值在0-1之间,容易造成梯度消失 (3)幂运算复杂,训练时间长 relu函数 f(x) = max(x,0) = {0,x

张量 张量是tensorflow中的基本数据结构 # 全零张量 zero_tsr = tf.zeros([row_dim, col_dim]) # 全1张量 ones_tsr = tf.ones([row_dim, col_dim]) # 填充张量 filled_tsr = tf.fill([row_dim, col_dim], 42) # 常量 constant_tsr1 = tf.constant([1,2,3]) constant_tsr2 = tf.constant(42, [row_d

http://blog.csdn.net/pipisorry/article/details/52247679 本blog内容有标准化.数据最大最小缩放处理.正则化.特征二值化和数据缺失值处理. 基础知识参考 [数据标准化/归一化normalization] [均值.方差与协方差矩阵] [矩阵论:向量范数和矩阵范数] Note: 一定要注意归一化是归一化什么,归一化features还是samples. 数据标准化:去除均值和方差进行缩放 Standardization: mean removal

ImageNet Classification with Deep Convolutional Neural Network 利用深度卷积神经网络进行ImageNet分类 Abstract We trained a large, deep convolutional neural network to classify the 1.2 million high-resolution images in the ImageNet LSVRC-2010 contest into the 1000 d

1. 概要 数据预处理在众多深度学习算法中都起着重要作用,实际情况中,将数据做归一化和白化处理后,很多算法能够发挥最佳效果.然而除非对这些算法有丰富的使用经验,否则预处理的精确参数并非显而易见. 2. 数据归一化及其应用 数据预处理中,标准的第一步是数据归一化.虽然这里有一系列可行的方法,但是这一步通常是根据数据的具体情况而明确选择的.特征归一化常用的方法包含如下几种: 简单缩放 逐样本均值消减(也称为移除直流分量) 特征标准化(使数据集中所有特征都具有零均值和单位方差) 一般做机器学习应用的时

实现我们分类数字的网络 好,让我们使用随机梯度下降和 MNIST训练数据来写一个程序来学习怎样识别手写数字. 我们用Python (2.7) 来实现.只有 74 行代码!我们需要的第一个东西是 MNIST数据.如果有 github 账号,你可以将这些代码库克隆下来, git clone https://github.com/mnielsen/neural-networks-and-deep-learning.git 或者你可以到这里 下载. 顺便说一下, 当我先前说到 MNIST 数据集时,我说

               本博客所有文章分类的总目录:[总目录]本博客博文总目录-实时更新  开源Math.NET基础数学类库使用总目录:[目录]开源Math.NET基础数学类库使用总目录 前言 数据集的基本统计计算是应用数学,以及统计应用中最常用的功能.如计算数据集的均值,方差,标准差,最大值,最小值,熵等等.Math.NET中的MathNet.Numerics.Statistics命名空间就包括了大量的这些统计计算的函数.今天就为大家介绍这方面的内容.这样就可以使用C#进行数据集合的相关

复习: 1.概率密度函数,密度函数,概率分布函数和累计分布函数 概率密度函数一般以大写“PDF”(Probability Density Function),也称概率分布函数,有的时候又简称概率分布函数. 而累计分布函数是概率分布函数的积分. 注意区分 从数学上看,累计分布函数F(x)=P(X<x),表示随机变量X的值小于x的概率.这个意义很容易理解. 概率密度f(x)是F(x)在x处的关于x的一阶导数,即变化率.如果在某一x附近取非常小的一个邻域Δx,那么,随机变量X落在(x, x+Δx)内的

概述 对矩阵的主要操作,matlab 中都有现成的指令或者库函数与之对应. 矩阵最早来自于方程组的系数和常数所构成的方阵,这一概念是由19世纪的英国数学家凯利提出的. 创建矩阵 这里写的不全,但是足够入门机器学习. 常规创建方法 大概就是这样: 全1矩阵 使用onesMatrix = ones(3)命令,可以创建一个 3 * 3 的全1矩阵: 当然,需要长宽不一样的时候,再添加一个参数就可以了: 还可以使用 ones(size(A)) 创建一个和A形状一样的矩阵: 全零矩阵 使用 zeros,操

主讲人 网神 (新浪微博: @豆角茄子麻酱凉面) 网神(66707180) 18:57:18 大家好,今天我们讲一下第14章combining models,这一章是联合模型,通过将多个模型以某种形式结合起来,可以获得比单个模型更好的预测效果.包括这几部分:committees, 训练多个不同的模型,取其平均值作为最终预测值. boosting: 是committees的特殊形式,顺序训练L个模型,每个模型的训练依赖前一个模型的训练结果.决策树:不同模型负责输入变量的不同区间的预测,每个样本选择

主讲人 戴玮 (新浪微博: @戴玮_CASIA) Wilbur_中博(1954123) 20:00:49 我今天讲PRML的第十二章,连续隐变量.既然有连续隐变量,一定也有离散隐变量,那么离散隐变量是什么?我们可能还记得之前尼采兄讲过的9.2节的高斯混合模型.它有一个K维二值隐变量z,不仅只能取0-1两个值,而且K维中只能有1维为1.其他维必须为0,表示我们观察到的x属于K类中的哪一类.显然,这里的隐变量z就是个离散隐变量.不过我们容易想到,隐变量未必像kmeans或GMM这种聚类算法那样,非此

Hinton的第6课,这一课中最后的那个rmsprop,关于它的资料,相对较少,差不多除了Hinton提出,没论文的样子,各位大大可以在这上面研究研究啊. 一.mini-批量梯度下降概述 这部分将介绍使用随机梯度下降学习来训练NN,着重介绍mini-批量版本,而这个也是现今用的最广泛的关于训练大型NN的方法.这里再回顾下关于一个线性神经元他的错误表面是怎样的. 这里的错误表面就是在一个空间中,水平轴是对应于NN的权重,竖直轴对应于所产生的错误的表面.对于一个误差平方的线性神经元,这个表面总是一个

HInton第9课,这节课没有放论文进去.....如有不对之处还望指正.话说hinton的课果然信息量够大.推荐认真看PRML<Pattern Recognition and Machine Learning>. 摘自PRML中22页. 正文: 一.提高泛化方法的概述 在这部分中,将会介绍通过减少(当一个模型的数据表现能力大大的超过训练时提供的数据而产生的)过拟合来提高模型的泛化能力,将会介绍不同的方法去控制网络的数据表达能力,并介绍当我们使用这样一种方法的时候如何设置元参数,然后给出一个通过

这是Hinton的第10课 这节课有两篇论文可以作为背景或者课外读物<Adaptive mixtures of local experts>和<Improving neural networks by preventing co-adaptation of feature detectors>. 一.为什么模型的结合是有帮助的 这部分将介绍为什么当我们进行预测的时候,想要将许多模型结合起来.如果我们只有一个模型,我们不得不对这个模型选择某些能力:如果我们选择的能力太少,那么模型可以

这是Jake Bouvrie在2006年写的关于CNN的训练原理,虽然文献老了点,不过对理解经典CNN的训练过程还是很有帮助的.该作者是剑桥的研究认知科学的.翻译如有不对之处,还望告知,我好及时改正,谢谢指正! Notes on Convolutional Neural Networks Jake Bouvrie 2006年11月22 1引言 这个文档是为了讨论CNN的推导和执行步骤的,并加上一些简单的扩展.因为CNN包含着比权重还多的连接,所以结构本身就相当于实现了一种形式的正则化了.另外CN

来自http://deeplearning.net/tutorial/mlp.html#mlp Multilayer Perceptron note:这部分假设读者已经通读之前的一个练习 Classifying MNIST digits using Logistic Regression.(http://blog.csdn.net/shouhuxianjian/article/details/46375461).另外,它使用新的theano函数和概念: T.tanh, shared variab

因为<opencv_tutorial>这部分只有两个例子,就先暂时介绍两个例子好了,在refman中ml板块有:统计模型.普通的贝叶斯分类器.KNN.SVM.决策树.boosting.随机树.EM(期望最大化).NN(神经网络).LR(逻辑回归)和training data(训练数据) 这部分要特别说明:http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/ml/introduction_to_svm/introduction_

http://closure11.com/rcnn-fast-rcnn-faster-rcnn%E7%9A%84%E4%B8%80%E4%BA%9B%E4%BA%8B/ 首先看fast r-cnn这篇论文,中间加入了有些博友的想法. 问题 目标检测主要面临两个问题:过多的候选位置(proposals):必须由这些粗略的候选位置中选出准确的位置. 这篇论文将学习目标proposals分类和精确定位结合起来. 1. R-CNN和SPPnet存在的问题 (1)R-CNN的问题 训练需要多阶段:先用Co

目前可以从很多地方得到RBPF的代码,主要看的是Cyrill Stachniss的代码,据此进行理解. Author:Giorgio Grisetti; Cyrill Stachniss  http://openslam.org/ https://github.com/Allopart/rbpf-gmapping   和文献[1]上结合的比较好,方法都可以找到对应的原理. https://github.com/MRPT/mrpt MRPT中可以采用多种扫描匹配的方式,可以通过配置文件进行配置.

理论知识:UFLDL数据预处理和http://www.cnblogs.com/tornadomeet/archive/2013/04/20/3033149.html 数据预处理是深度学习中非常重要的一步!如果说原始数据的获得,是深度学习中最重要的一步,那么获得原始数据之后对它的预处理更是重要的一部分. 1.数据预处理的方法: ①数据归一化: 简单缩放:对数据的每一个维度的值进行重新调节,使其在 [0,1]或[ − 1,1] 的区间内 逐样本均值消减:在每个样本上减去数据的统计平均值,用于平稳的数