normalization归一化

简单的举个例子:一张表有两个变量,一个是体重kg,一个是身高cm.假设一般情况下体重这个变量均值为60(kg),身高均值为170(cm).1,这两个变量对应的单位不一样,同样是100,对于身高来说很矮,但对于体重来说已经是超重了.2,单位越小,数值越大,对结果的影响也越大,譬如170cm=1.7m. 简单讲,归一化的目的是可以用数值来直接进行比较,如果不归一化由于变量特性不同,同样加10,代表的意义不一样.…

数据预处理：PCA，SVD，whitening，normalization

数据预处理是为了让算法有更好的表现,whitening.PCA.SVD都是预处理的方式: whitening的目标是让特征向量中的特征之间不相关,PCA的目标是降低特征向量的维度,SVD的目标是提高稀疏矩阵运算的运算速度. whitening whiten的目的是解除特征向量中各个特征之间的相关性,同时保证保证每个特征的方差一致,是数据集归一化的一种形式.设特征向量 X = (X1,X2,X2),未知的量是随机变量,因此X1 X2 X3 都是随机变量,他们都服从某个分布,有确定的期望.注意到wh…

normalization, standardization and regularization

Normalization Normalization refers to rescaling real valued numeric attributes into the range 0 and 1. It is useful to scale the input attributes for a model that relies on the magnitude of values, such as distance measures used in k-nearest neighbor…

NLP&数据挖掘基础知识

Basis(基础): SSE(Sum of Squared Error, 平方误差和) SAE(Sum of Absolute Error, 绝对误差和) SRE(Sum of Relative Error, 相对误差和) MSE(Mean Squared Error, 均方误差) RMSE(Root Mean Squared Error, 均方根误差) RRSE(Root Relative Squared Error, 相对平方根误差) MAE(Mean Absolute Error, 平均绝…

stanford coursera 机器学习编程作业 exercise 5（正则化线性回归及偏差和方差）

本文根据水库中蓄水标线(water level) 使用正则化的线性回归模型预水流量(water flowing out of dam),然后 debug 学习算法以及讨论偏差和方差对该线性回归模型的影响. ①可视化数据集本作业的数据集分成三部分: ⓐ训练集(training set),样本矩阵(训练集):X,结果标签(label of result)向量 y ⓑ交叉验证集(cross validation set),确定正则化参数 Xval 和 yval ⓒ测试集(test set)…

Linear regression with multiple variables(多特征的线型回归)算法实例_梯度下降解法(Gradient DesentMulti)以及正规方程解法(Normal Equation)

,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, 1 % Exercise 1: Linear regression with multiple variables %% Initialization %% ================ Part 1: Featu…

Stanford机器学习---第八讲. 支持向量机SVM

原文: http://blog.csdn.net/abcjennifer/article/details/7849812 本栏目(Machine learning)包括单参数的线性回归.多参数的线性回归.Octave Tutorial.Logistic Regression.Regularization.神经网络.机器学习系统设计.SVM(Support Vector Machines 支持向量机).聚类.降维.异常检测.大规模机器学习等章节.所有内容均来自Standford公开课machine…

常用的机器学习&数据挖掘知识点【转】

转自: [基础]常用的机器学习&数据挖掘知识点 Basis(基础): MSE(Mean Square Error 均方误差),LMS(LeastMean Square 最小均方),LSM(Least Square Methods 最小二乘法),MLE(MaximumLikelihood Estimation最大似然估计),QP(Quadratic Programming 二次规划), CP(Conditional Probability条件概率),JP(Joint Probability 联合概…

【基础】常用的机器学习&数据挖掘知识点

Basis(基础): MSE(Mean Square Error 均方误差),LMS(LeastMean Square 最小均方),LSM(Least Square Methods 最小二乘法),MLE(MaximumLikelihood Estimation最大似然估计),QP(Quadratic Programming 二次规划), CP(Conditional Probability条件概率),JP(Joint Probability 联合概率),MP(Marginal Probabili…

CNN- 数据预处理

对于CNN输入的数据,常见的有三种处理方式: 1.Mean subtraction. 将数据的每一维特征都减去平均值.在numpy 中 X -= np.mean(X, axis = 0) 2.Normalization 归一化数据,使数据在相同尺度. 在numpy 中 X /= np.std(X, axis = 0) 3. PCA and Whitening. 首先均值化数据,然后求协方差矩阵. X -= np.mean(X, axis = 0) //求均值 cov = np.…

Andrew NG 机器学习编程作业5 Octave

问题描述:根据水库中蓄水标线(water level) 使用正则化的线性回归模型预水流量(water flowing out of dam),然后 debug 学习算法以及讨论偏差和方差对该线性回归模型的影响 ①可视化数据集本作业的数据集分成三部分: ⓐ训练集(training set),样本矩阵(训练集):X,结果标签(label of result)向量 y ⓑ交叉验证集(cross validation set),确定正则化参数 Xval 和 yval ⓒ测试集(test set…

基于python的快速傅里叶变换FFT（二）

基于python的快速傅里叶变换FFT(二)本文在上一篇博客的基础上进一步探究正弦函数及其FFT变换. 知识点 FFT变换,其实就是快速离散傅里叶变换,傅立叶变换是数字信号处理领域一种很重要的算法.要知道傅立叶变换算法的意义,首先要了解傅立叶原理的意义.傅立叶原理表明:任何连续测量的时序或信号,都可以表示为不同频率的正弦波信号的无限叠加.而根据该原理创立的傅立叶变换算法利用直接测量到的原始信号,以累加方式来计算该信号中不同正弦波信号的频率.振幅和相位. 和傅立叶变换算法对应的是反傅立叶变换…

常用的机器学习&数据挖掘知识(点）总结

Basis(基础): MSE(Mean Square Error 均方误差), LMS(LeastMean Square 最小均方), LSM(Least Square Methods 最小二乘法), MLE(MaximumLikelihood Estimation最大似然估计), QP(Quadratic Programming 二次规划), CP(Conditional Probability条件概率), JP(Joint Probability 联合概率), MP(Marginal Pro…

常见的机器学习&数据挖掘知识点

原文:http://blog.csdn.net/heyongluoyao8/article/details/47840255 常见的机器学习&数据挖掘知识点转载请说明出处 Basis(基础): SSE(Sum of Squared Error, 平方误差和) SAE(Sum of Absolute Error, 绝对误差和) SRE(Sum of Relative Error, 相对误差和) MSE(Mean Squared Error, 均方误差) RMSE(Root Mean Square…

DeepLearning资源汇总

仍旧不完全统计,边学边加 Bagging与随机森林算法原理分类数据集 MNIST Cifar10 ILSVRC排行榜 Cifar10 board train loss与test loss结果分析偶遇拿来参考理论: Normalization Regularization 数据预处理 Normalization归一化针对数据:Regularization正则化针对代价函数对internal covariate shift的解释 caffe: 模型描述中的各参数含义 solver.…

[Deep-Learning-with-Python] Keras高级概念

Keras API 目前为止,介绍的神经网络模型都是通过Sequential模型来实现的.Sequential模型假设神经网络模型只有一个输入一个输出,而且模型的网络层是线性堆叠在一起的. 这是一个经过验证的假设;配置非常普遍,到目前为止已经能够使用Sequential模型类覆盖许多任务和实际应用程序.但在许多情况下,这套假设过于僵化.一些网络模型需要几个独立的输入,其他需要多个输出,并且一些网络在层之间具有内部分支,使得它们看起来像层的图形而不是线性堆叠层. 例如,某些任务需要多模式输入:它们…

ML科普向

转载自http://www.cnblogs.com/qscqesze/ Basis(基础): MSE(Mean Square Error 均方误差),LMS(LeastMean Square 最小均方),LSM(Least Square Methods 最小二乘法),MLE(MaximumLikelihood Estimation最大似然估计),QP(Quadratic Programming 二次规划),CP(Conditional Probability条件概率),JP(Joint Prob…

AI人工智能专业词汇集

作为最早关注人工智能技术的媒体,机器之心在编译国外技术博客.论文.专家观点等内容上已经积累了超过两年多的经验.期间,从无到有,机器之心的编译团队一直在积累专业词汇.虽然有很多的文章因为专业性我们没能尽善尽美的编译为中文呈现给大家,但我们一直在进步.一直在积累.一直在提高自己的专业性.两年来,机器之心编译团队整理过翻译词汇对照表「红宝书」,编辑个人也整理过类似的词典.而我们也从机器之心读者留言中发现,有些人工智能专业词汇没有统一的翻译标准,这可能是因地区.跨专业等等原因造成的.举个例子,DeepM…

Machine Learning Basic Knowledge

常用的数据挖掘&机器学习知识(点) Basis(基础): MSE(MeanSquare Error 均方误差),LMS(Least MeanSquare 最小均方),LSM(Least Square Methods 最小二乘法),MLE(Maximum LikelihoodEstimation最大似然估计),QP(QuadraticProgramming 二次规划), CP(ConditionalProbability条件概率),JP(Joint Probability 联合概率),MP(Mar…

常用的机器学习&数据挖掘知识点

Basis(基础):MSE(Mean Square Error 均方误差),LMS(LeastMean Square 最小均方),LSM(Least Square Methods 最小二乘法),MLE(MaximumLikelihood Estimation最大似然估计),QP(Quadratic Programming 二次规划), CP(Conditional Probability条件概率),JP(Joint Probability 联合概率),MP(Marginal Probabilit…

常用的机器学习&数据挖掘知识点总结

Basis(基础): MSE(Mean Square Error 均方误差),LMS(LeastMean Square 最小均方),LSM(Least Square Methods 最小二乘法),MLE(MaximumLikelihood Estimation最大似然估计),QP(Quadratic Programming 二次规划),CP(Conditional Probability条件概率),JP(Joint Probability 联合概率),MP(Marginal Probabilit…

卷积神经网络Lenet-5实现

卷积神经网络Lenet-5实现原文地址:http://blog.csdn.net/hjimce/article/details/47323463 作者:hjimce 卷积神经网络算法是n年前就有的算法,仅仅是近年来由于深度学习相关算法为多层网络的训练提供了新方法,然后如今电脑的计算能力已非当年的那种计算水平,同一时候如今的训练数据非常多,于是神经网络的相关算法又又一次火了起来,因此卷积神经网络就又活了起来,再開始前,我们须要明白的是网上讲的卷积神经网络的相关教程一般指的是神经网络的前向传导过程…

TensorFlow高效读取数据的方法——TFRecord的学习

关于TensorFlow读取数据,官网给出了三种方法: 供给数据(Feeding):在TensorFlow程序运行的每一步,让python代码来供给数据. 从文件读取数据:在TensorFlow图的起始,让一个输入管线从文件中读取数据. 预加载数据:在TensorFlow图中定义常量或变量来保存所有数据(仅适用于数据量比较小的情况). 对于数据量较小而言,可能一般选择直接将数据加载进内存,然后再分batch输入网络进行训练(tip:使用这种方法时,结合yeild 使用更为简洁).但是如果数据量较…

TensorFlow学习笔记——LeNet-5（训练自己的数据集）

在之前的TensorFlow学习笔记——图像识别与卷积神经网络(链接:请点击我)中了解了一下经典的卷积神经网络模型LeNet模型.那其实之前学习了别人的代码实现了LeNet网络对MNIST数据集的训练.而这篇文章是想自己完成LeNet网络来训练自己的数据集.LeNet主要用来进行手写字符的识别与分类,下面记录一下自己学习的过程. 我的学习步骤分为以下四步: 1,温习LeNet-5的网络层 2,使用LeNet-5训练MNIST数据集 3,使用LeNet-5训练TFRecord格式的MNIST数据集…

Paper Reading:HyperNet

论文:HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection 发表时间:2016 发表作者:(tsinghua)Tao Kong, Anbang Yao, Yurong Chen, Fuchun Sun 发表刊物/会议:cvpr 论文链接:论文链接 CNN高层特征具有丰富的语义信息,低层特征具有较高空间分辨率,研究如何融合不同层之间的特征,是物体检测领域热门的方向.近期很多工作通过融合多层来…