Warming Up Before we talk about multivariate Gaussian, let's first review univariate Gaussian, which is usually called "Normal Distribution": \[ X \sim N(\mu,\ \sigma^2) = \frac{1}{\sqrt{2\pi}\sigma} e^{ -\frac{(x-\mu)^2}{2\sigma^2}} \] where \(…

从13年11月初开始接触DL,奈何boss忙or 各种问题,对DL理解没有CSDN大神 比如 zouxy09等 深刻,主要是自己觉得没啥进展,感觉荒废时日(丢脸啊,这么久....)开始开文,即为记录自己是怎么一步一个逗比的走过的路的,也为了自己思维更有条理.请看客,轻拍,(如果有错,我会立马改正,谢谢大家的指正.==!其实有人看没人看都是个问题.哈哈) 推荐 tornadomeet 的博客园学习资料 http://www.cnblogs.com/tornadomeet/category/4976…

A Statistical View of Deep Learning (II): Auto-encoders and Free Energy With the success of discriminative modelling using deep feedforward neural networks (or using an alternative statistical lens, recursive generalised linear models) in numerous in…

Growing Pains for Deep Learning Advances in theory and computer hardware have allowed neural networks to become a core part of online services such as Microsoft's Bing, driving their image-search and speech-recognition systems. The companies offering…

作者:桂. 时间:2017-03-20  06:20:54 链接:http://www.cnblogs.com/xingshansi/p/6584555.html 声明:欢迎被转载,不过记得注明出处哦~ 前言 本文是曲线拟合与分布拟合系列的一部分,主要总结混合高斯模型(Gaussian Mixture Model,GMM),GMM主要基于EM算法(前文已经推导),本文主要包括: 1)GMM背景介绍: 2)GMM理论推导: 3)GMM代码实现: 内容多有借鉴他人,最后一并给出链接. 一.GMM背景…

作者:桂. 时间:2017-03-21  07:25:17 链接:http://www.cnblogs.com/xingshansi/p/6592599.html 声明:欢迎被转载,不过记得注明出处哦~ 前言 本文为曲线拟合与分布拟合系列的一部分,主要讲解混合拉普拉斯分布(Laplace Mixture Model,LMM).拉普拉斯也是常用的统计概率模型之一,网上关于混合高斯模型(GMM)的例子很多,而关于LMM实现的很少.其实混合模型都可以用EM算法推导,只是求闭式解的运算上略有差别,全文包…

作者:桂. 时间:2017-03-22  06:13:50 链接:http://www.cnblogs.com/xingshansi/p/6597796.html 声明:欢迎被转载,不过记得注明出处哦~ 前言 分布拟合与曲线拟合系列本想简单梳理,却啰嗦的没完没了.本文主要介绍:多直线的拟合,多曲线可以依次类推.全文主要包括: 1)背景介绍 2)理论推导 3)代码实现 4)关于拟合的思考 内容多有借鉴他人,最后一并附上链接. 一.背景介绍 对于单个直线,可以借助MLE或者最小二乘进行求参,对于多条…

Research in General How to write a great research paper Basics of machine learning http://www.iro.umontreal.ca/~bengioy/DLbook/math.html http://www.iro.umontreal.ca/~bengioy/DLbook/ml.html Basics of deep learning http://www.iro.umontreal.ca/~bengioy/…

作者:桂. 时间:2017-03-22  06:13:50 链接:http://www.cnblogs.com/xingshansi/p/6597796.html 声明:欢迎被转载,不过记得注明出处哦~ 前言 分布拟合与曲线拟合系列本想简单梳理,却啰嗦的没完没了.本文主要介绍:多直线的拟合,多曲线可以依次类推.全文主要包括: 1)背景介绍 2)理论推导 3)代码实现 4)关于拟合的思考 内容多有借鉴他人,最后一并附上链接. 一.背景介绍 对于单个直线,可以借助MLE或者最小二乘进行求参,对于多条…

ICLR 2014 International Conference on Learning Representations Apr 14 - 16, 2014, Banff, Canada Workshop Track Submitted Papers Stochastic Gradient Estimate Variance in Contrastive Divergence and Persistent Contrastive Divergence Mathias Berglund, Ta…