UFLDL深度学习笔记 (七)拓扑稀疏编码与矩阵化 主要思路 前面几篇所讲的都是围绕神经网络展开的,一个标志就是激活函数非线性:在前人的研究中,也存在线性激活函数的稀疏编码,该方法试图直接学习数据的特征集,利用与此特征集相应的基向量,将学习得到的特征集从特征空间转换到样本数据空间,这样可以用特征集重构样本数据. ​ 数据集.特征集.基向量分别表示为\(x.A.s\).构造如下目标代价函数,对估计误差的代价采用二阶范数,对稀疏性因子的惩罚代价采用一阶范数.原文中没有对误差项在数据集上做平均,真实情…

UFLDL(Unsupervised Feature Learning and Deep Learning)Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套教程,内容深入浅出,有很强的实用性,学习起来,让人有种酣畅淋漓的感觉.邓侃博士于今年 2 月 20 日起,在新浪微博上召集志愿者对该教程进行翻译,并于 4 月 8 日全部完成,非常感谢所有参与者的辛勤劳动.本系列文章主要是对这套教程资料的整理,部分内容加入了自己的一些理解和注释. 第一篇  稀疏自编…

教程地址:http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/ logstic regression是二分类的问题,如果想要多分类,就得用softmax regression. 这节比较难理解的是cost function,实际上,cost function就是最大似然估计加上了个负号. 理论部分参考这位博主的博文:http://www.cnblogs.com/tornadomeet/archive/2013/03/22…

UFLDL(Unsupervised Feature Learning and Deep Learning)Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套教程,内容深入浅出,有很强的实用性,学习起来,让人有种酣畅淋漓的感觉.邓侃博士于今年 2 月 20 日起,在新浪微博上召集志愿者对该教程进行翻译,并于 4 月 8 日全部完成,非常感谢所有参与者的辛勤劳动.本系列文章主要是对这套教程资料的整理,部分内容加入了自己的一些理解和注释. 第二篇  预处理:…

UFLDL(Unsupervised Feature Learning and Deep Learning)Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套教程,内容深入浅出,有很强的实用性,学习起来,让人有种酣畅淋漓的感觉.邓侃博士于今年 2 月 20 日起,在新浪微博上召集志愿者对该教程进行翻译,并于 4 月 8 日全部完成,非常感谢所有参与者的辛勤劳动.本系列文章主要是对这套教程资料的整理,部分内容加入了自己的一些理解和注释. 第一篇  稀疏自编…

UFLDL(Unsupervised Feature Learning and Deep Learning)Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套教程,内容深入浅出,有很强的实用性,学习起来,让人有种酣畅淋漓的感觉.邓侃博士于今年 2 月 20 日起,在新浪微博上召集志愿者对该教程进行翻译,并于 4 月 8 日全部完成,非常感谢所有参与者的辛勤劳动.本系列文章主要是对这套教程资料的整理,部分内容加入了自己的一些理解和注释. 第一篇  稀疏自编…

课程地址:http://ufldl.stanford.edu/tutorial/supervised/FeatureExtractionUsingConvolution/ 在之前的练习中,图片比较小,这节课的方法可以应用到更大的图像上. Fully Connected Networks 在sparse autoencoder(后面会讲到)中,一种设计选择是将输入层与隐藏层fully connect,这种方式对图片小的情况下计算量还 可以接受,但对大图片来说变得不可接受. Locally Conn…

教程:http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/ 以及这篇博文,写的很清楚:http://blog.csdn.net/itplus/article/details/11451327 PCA是对数据实现降维,一般做数据的预处理.关于PCA,可参考http://www.cnblogs.com/573177885qq/p/4495812.html 主要讲的是如何降维,以及如何确定维数K.…

ufdl的新教程,从基础学起.第一节讲的是线性回归.主要目的是熟悉目标函数,计算梯度和优化. 按着教程写完代码后,总是编译出错,一查是mex的原因,实在不想整了. 这位博主用的是向量,比较简洁:http://blog.csdn.net/lingerlanlan/article/details/38377023 这位博主用的是循环,更好理解:http://www.cnblogs.com/william7neral/p/4448566.html 接下来是logistic regression和向量化…

课程链接:http://ufldl.stanford.edu/tutorial/supervised/LogisticRegression/ 这一节主要讲的是梯度的概念,在实验部分,比较之前的线性回归的梯度与通过定义来计算的梯度,统计二者之间的误差. 线性回归得到的是一个连续值,有时我们想得到0或者1这样的预测值,这就要用到logistic regression.因为要得到的是概率值, 之前的表示函数显然已经不合适了,这时需要用到新的函数来表示: 我们的目标就是对theta做优化,当x属于1时,…