机器学习入门 深度学习和机器学习? 深度学习在某种意义上可以认为是机器学习的一个分支,只是这个分支非常全面且重要,以至于可以单独作为一门学科来进行研究. 回忆知识 求解S. 对数函数的上升速度 我们使用Python简单写一段代码可以很容易获得结果.但是我们使用数学来分析: 令\(f(x)=log_ax\) 则: 那么我们需要考虑: 构造数列: 我们很容易推出: 根据前文,已经证明了数组\({a_n}\)单增有上界,因此,必有极限,记作e. 根据夹逼定理,函数极限存在,为e. 导数 简单来说,导数…

主要内容 矩阵 特征值和特征向量 矩阵求导 矩阵 SVD的提法 奇异值分解(Singular Value Decomposition)是一种重要的矩阵分解方法,可以看做对称方阵在任意矩阵上的推广. 假设A是一个\(m\times n\)阶实矩阵,则存在一个分解使得: 通常将奇异值从大到小排列,这样\(\sum\)就能由A唯一确定了. 与特征值.特征向量的概念相对应 \(\sum\)在对角线上的元素称为矩阵A的奇异值: U的第i列称为A的关于的左奇异向量: V的第i列称为A的关于的右奇异向量. 例…

目录 凸集的基本概念 凸函数的基本概念 凸优化的一般提法 凸集基本概念 思考两个不能式 两个正数的算术平均数大于等于几何平均数 给定可逆对称阵Q,对于任意向量x,y,有: 思考凸集和凸函数 在机器学习中,我们把形如 这样的图形的都称为凸函数. \(y=x^2\)是凸函数,函数图像上位于\(y=x^2\)的区域构成凸集. 凸函数图像的上方区域,一定是凸集: 一个函数图像的上方区域为凸集,则该函数是凸函数. 直线的向量表达 已知二维平面上的两定点A(5,1),B(2,3)尝试给出经过带你AB的直线方…

目录 线性回归 高斯分布 最大似然估计 最小二乘法的本质 Logistic回归 工具 梯度下降算法 最大似然估计 线性回归 对于单个变量: y=ax+b 对于多个变量: 使用极大似然估计解释最小二乘法 \(y^{(i)}=\theta^{T}x^{(i)}+\varepsilon^{(i)}\) 误差\(\varepsilon^{(i)}(1\le i\le m)\)是独立同分布的,服从均值为0,方差为某定值\(\sigma^{2}\)的高斯分布. 原因:中心极限定理 中心极限定理的意义 在实际…

Machine Learning读书会,面试&算法讲座,算法公开课,创业活动,算法班集锦 近期活动: 2014年9月3日,第8次西安面试&算法讲座视频 + PPT 的下载地址:http://blog.csdn.net/v_july_v/article/details/7237351#t40: 2014年10月18日,北京10月机器学习班开班,全部PPT 的下载地址见:http://blog.csdn.net/v_july_v/article/details/7237351#t63: 201…

我的第一篇谈到具体学科的博客,还是献给我最钟爱的数学. 个人比较喜欢离散数学,并非因为曲高和寡,而是因为数学分析.概率论.拓扑学.泛函之类的高手实在太多.而离散数学更为抽象,抽象到抽象代数直接以抽象二字命名,愿意去学习的人自然就少了,那么个人闲聊的时候忽悠的空间就会比较大,夸张夸张也没多少人看出自己其实是不学无术的.也正因为如此,喜欢离散数学,离散数学中最喜欢的就算是抽象代数了. 数学是什么 从人类原始社会起,人类与地斗,与天斗,物质资源极端匮乏,长期以往,人类对自己所控制的物质资源有了个量化的…

1.老老实实把课本上的题目做完.其实说科大的课本难,我以为这话不完整.科大的教材,就数学系而言还是讲得挺清楚的,难的是后面的习题.事实上做1道难题的收获是做10道简单题所不能比的. 2.每门数学必修课至少要看一本参考书,尽量做一本习题集. 3.数学分析别做吉米,除非你太无聊,推荐北大方企勤的习题集.此外注意一下有套波兰的数学分析习题集,是不是搞得到中文或英文版. 4.线性代数推荐普罗斯库列科夫的<<线性代数习题集>>和法捷耶夫的<<高等代数习题集>>.莫斯科…

前言 gamma函数 0 整体把握LDA 1 gamma函数 beta分布 1 beta分布 2 Beta-Binomial 共轭 3 共轭先验分布 4 从beta分布推广到Dirichlet 分布 Dirichlet 分布 1 Dirichlet 分布 2 Dirichlet-Multinomial 共轭 主题模型LDA 1 各个基础模型 11 Unigram model 12 Mixture of unigrams model 2 PLSA模型 21 pLSA模型下生成文档 21 根据文档反…

通俗理解LDA主题模型 0 前言 印象中,最開始听说"LDA"这个名词,是缘于rickjin在2013年3月写的一个LDA科普系列,叫LDA数学八卦,我当时一直想看来着,记得还打印过一次,但不知是由于这篇文档的前序铺垫太长(如今才意识到这些"铺垫"都是深刻理解LDA 的基础,但假设没有人帮助刚開始学习的人提纲挈领.把握主次.理清思路,则非常easy陷入LDA的细枝末节之中),还是由于当中的数学推导细节太多,导致一直没有完整看完过. 2013年12月,在我组织的Mac…

0 前言 看完前面几篇简单的文章后,思路还是不清晰了,但是稍微理解了LDA,下面@Hcy开始详细进入boss篇.其中文章可以分为下述5个步骤: 一个函数:gamma函数 四个分布:二项分布.多项分布.beta分布.Dirichlet分布 一个概念和一个理念:共轭先验和贝叶斯框架 两个模型:pLSA.LDA(在本文第4 部分阐述) 一个采样:Gibbs采样 本文便按照上述5个步骤来阐述,希望读者看完本文后,能对LDA有个尽量清晰完整的了解.同时,本文基于邹博讲LDA的PPT.rickjin的LDA…