1 Logistic Regression 简述 Linear Regression 研究连续量的变化情况,而Logistic Regression则研究离散量的情况.简单地说就是对于推断一个训练样本是属于1还是0.那么非常easy地我们会想到概率,对,就是我们计算样本属于1的概率及属于0的概率,这样就能够依据概率来预计样本的情况,通过概率也将离散问题变成了连续问题. Specifically, we will try to learn a function of the form: P(y=1…

特别棒的一篇文章,仍不住转一下,留着以后需要时阅读 基于Theano的深度学习(Deep Learning)框架Keras学习随笔-01-FAQ…

Softmax Regression Tutorial地址:http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/ 从本节開始,难度開始加大了.我将更具体地解释一下这个Tutorial. 1 Softmax Regression 介绍 前面我们已经知道了Logistic Regression.简单的说就推断一个样本属于1或者0.在应用中比方手的识别.那么就是推断一个图片是手还是非手.这就是非常easy的分类. 其实.我们仅…

Content: 2 Logistic Regression. 2.1 Classification. 2.2 Hypothesis representation. 2.2.1 Interpreting hypothesis output. 2.3 Decision boundary. 2.3.1 Non-linear decision boundaries. 2.4 Cost function for logistic regression. 2.4.1 A convex logistic r…

1 前言 Andrew Ng的UFLDL在2014年9月底更新了. 对于開始研究Deep Learning的童鞋们来说这真的是极大的好消息! 新的Tutorial相比旧的Tutorial添加了Convolutional Neural Network的内容.了解的童鞋都知道CNN在Computer Vision的重大影响. 而且从新编排了内容及exercises. 新的UFLDL网址为: http://ufldl.stanford.edu/tutorial/ 2 Linear Regression…

1 Vectorization 简述 Vectorization 翻译过来就是向量化,各简单的理解就是实现矩阵计算. 为什么MATLAB叫MATLAB?大概就是Matrix Lab,最根本的差别于其它通用语言的地方就是MATLAB能够用最直观的方式实现矩阵运算.MATLAB的变量都能够是矩阵. 通过Vectorization,我们能够将代码变得极其简洁.尽管简洁带来的问题就是其它人看你代码就须要研究一番了.但不论什么让事情变得simple的事情都是值得去做的. 关于Vectorization核心…

1 Gradient Checking 说明 前面我们已经实现了Linear Regression和Logistic Regression.关键在于代价函数Cost Function和其梯度Gradient的计算. 在Gradient的计算中,我们一般採用推导出来的计算公式来进行计算. 可是我们看到,推导出来的公式是复杂的.特别到后面的神经网络,更加复杂.这就产生了一个问题,我们怎样推断我们编写的程序就是计算出正确的Gradient呢? 解决的方法就是通过数值计算的方法来估算Gradient然后…

1.回顾logistic回归,下式中a是逻辑回归的输出,y是样本的真值标签值 . (1)现在写出该样本的偏导数流程图.假设这个样本只有两个特征x1和x2, 为了计算z,我们需要输入参数w1.w2和b还有样本的特征值x1和x2,用这个来计算偏导数的计算公式,然后我们可以计算y^就是a,即,最后计算L(a,y),在逻辑回归中,我们要做的就是变换参数w和b的值,来最小化损失函数l(a,y).现在看看怎样向后传播计算偏导数: 要计算损失函数L的导数,首先要向前一步,计算损失函数的导数: 接下来再向后一步…

如果只想得到某种概率,而不是简单的分类,那么该如何做呢?在误差衡量问题上,如何选取误差函数这段很有意思. 接下来是如何最小化Ein,由于Ein是可凸优化的,所以采用的是梯度下降法:只要达到谷底,就找到了最优解.与PLA对比发现, logistic regression的梯度下降其实也是调整错分的w(错分有较大权重). 当采用梯度下降法时,发现Ein是非线性,所以不能像linear regression那样,直接得到闭式解,于是采用了小技巧将其转为线性.于是可以得到最优的方向. 关于步长的选择,过…

这一节主要讲的是如何将Kernel trick 用到 logistic regression上. 从另一个角度来看soft-margin SVM,将其与 logistic regression进行对比,发现可将 SVM看作一个正则化模型: 将SVM看作一个regularize model,是为了更好的延伸到其他模型上. 下面从erro measure的角度来分析二者相似性: 再从binary classfication的角度来比对:做了一个LogReg就相当于做了SVM,那SVM的结果能否用到L…