参考: cs229讲义 机器学习(一):生成学习算法Generative Learning algorithms:http://www.cnblogs.com/zjgtan/archive/2013/06/08/3127490.html 首先,简单比较一下前几节课讲的判别学习算法(Discriminative Learning Algorithm)和本节课讲的生成学习算法(Generative Learning Algorithm)的区别. eg:问题:Consider a classificat…

高斯判别分析(附Matlab实现) 生成学习算法 高斯判别分析(Gaussian Discriminant analysis,GDA),与之前的线性回归和Logistic回归从方法上讲有很大的不同,GDA是一种生成学习算法(Generative Learning Algorithms),而之前的属于判别学习算法(Discriminative Learning Algorithms). 它们的主要区别是: 判别学习算法是直接训练出p(y|x): 生成学习算法是分别训练出各个类别的概率模型,之后再用…

如果在我们的分类问题中,输入特征xx是连续型随机变量,高斯判别模型(Gaussian Discriminant Analysis,GDA)就可以派上用场了. 以二分类问题为例进行说明,模型建立如下: 样本输入特征为x∈Rnx∈Rn,其类别y∈{0,1}y∈{0,1}: 样本类别yy服从参数为ϕϕ的伯努力分布,即y∼Bernoulli(ϕ)y∼Bernoulli(ϕ): 两类样本分别服从不同的高斯分布,即x|y=0∼N(μ0,Σ),x|y=1∼N(μ1,Σ)x|y=0∼N(μ0,Σ),x|y=1∼…

转载请注明:http://blog.csdn.net/xinzhangyanxiang/article/details/9285001 该系列笔记1-5pdf下载请猛击这里. 本篇博客为斯坦福ML公开课第五个视频的笔记,主要内容包括生成学习算法(generate learning algorithm).高斯判别分析(Gaussian DiscriminantAnalysis,GDA).朴素贝叶斯(Navie Bayes).拉普拉斯平滑(Laplace Smoothing).…

华电北风吹 天津大学认知计算与应用重点实验室 日期:2015/12/11 高斯判别分析属于生成模型,模型终于学习一个特征-类别的联合概率. 0 多维正态分布 确定一个多维正态分布仅仅须要知道分布的均值向量μ∈Rn×1\mu\in R^{n\times 1}和一个协方差矩阵Σ∈Rn×n\Sigma\in R^{n\times n}. 其概率密度函数例如以下: p(x;μ,Σ)=1(2π)n/2|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))(0)p(x;\mu,\Sigma)=\frac{…

在<神经网络的梯度推导与代码验证>之数学基础篇:矩阵微分与求导中,我们总结了一些用于推导神经网络反向梯度求导的重要的数学技巧.此外,通过一个简单的demo,我们初步了解了使用矩阵求导来批量求神经网络参数的做法.在篇章,我们将专门针对DNN/FNN这种网络结构进行前向传播介绍和反向梯度推导. 注意:本系列的关注点主要在反向梯度推导以及代码上的验证,涉及到的前向传播相对而言不会做太详细的介绍. 目录 2.1 FNN(DNN)的前向传播 2.2 FNN(DNN)的反向传播 2.3 总结 参考资料 2…

在<神经网络的梯度推导与代码验证>之FNN(DNN)的前向传播和反向梯度推导中,我们学习了FNN(DNN)的前向传播和反向梯度求导,但知识仍停留在纸面.本篇章将基于深度学习框架tensorflow验证我们所得结论的准确性,以便将抽象的数学符号和实际数据结合起来,将知识固化.更多相关内容请见<神经网络的梯度推导与代码验证>系列介绍. 需要用到的库有tensorflow和numpy,其中tensorflow其实版本>=2.0.0就行 import tensorflow as tf…

在FNN(DNN)的前向传播,反向梯度推导以及代码验证中,我们不仅总结了FNN(DNN)这种神经网络结构的前向传播和反向梯度求导公式,还通过tensorflow的自动求微分工具验证了其准确性.在本篇章,我们将专门针对CNN这种网络结构进行前向传播介绍和反向梯度推导.更多相关内容请见<神经网络的梯度推导与代码验证>系列介绍. 注意: 本系列的关注点主要在反向梯度推导以及代码上的验证,涉及到的前向传播相对而言不会做太详细的介绍. 反向梯度求导涉及到矩阵微分和求导的相关知识,请见<神经网络的梯…

在<神经网络的梯度推导与代码验证>之CNN的前向传播和反向梯度推导 中,我们学习了CNN的前向传播和反向梯度求导,但知识仍停留在纸面.本篇章将基于深度学习框架tensorflow验证我们所得结论的准确性,以便将抽象的数学符号和实际数据结合起来,将知识固化.更多相关内容请见<神经网络的梯度推导与代码验证>系列介绍. 需要用到的库有tensorflow和numpy,其中tensorflow其实版本>=2.0.0就行 import tensorflow as tf import n…

在本篇章,我们将专门针对vanilla RNN,也就是所谓的原始RNN这种网络结构进行前向传播介绍和反向梯度推导.更多相关内容请见<神经网络的梯度推导与代码验证>系列介绍. 注意: 本系列的关注点主要在反向梯度推导以及代码上的验证,涉及到的前向传播相对而言不会做太详细的介绍. 反向梯度求导涉及到矩阵微分和求导的相关知识,请见<神经网络的梯度推导与代码验证>之数学基础篇:矩阵微分与求导 目录 4.1 vanilla RNN的前向传播 4.2 vanilla RNN的反向梯度推导 4.…