(来自百度百科) 1. 凹函数,不加权 2. 凹函数,加权 3. 凸函数,不加权 4. 凸函数,加权 应用 在EM算法Q函数的推导中,用到了第二个不等式(凹函数,加权)…

机器学习中的数学 觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记 索引 微积分,梯度和Jensen不等式 Taylor展开及其应用 常见概率分布和推导 指数族分布 共轭分布 统计量 矩估计和最大似然估计 区间估计 Jacobi矩阵 矩阵乘法 矩阵分解RQ和SVD 对称矩阵 凸优化 微积分与梯度 常数e的计算过程 常见函数的导数 分部积分法及其应用 梯度 上升/下降最快方向 凸函数 Jensen不等式 自然常数…

Jensen不等式 Jensen不等式给出了积分的凸函数值必定大于凸函数(convex)的积分值的定理.在凸函数曲线上的任意两点间连接一条线段,那么线段会位于曲线之上,这就是将Jensen不等式应用到两个点的情况,如图(1)所示\((t\in[0,1])\).我们从概率论的角度来描述Jensen不等式:假设\(f(x)\)为关于随机变量\(x\)的凸函数\(f'(x)\geq 0\),则有\(f\left(E(x)\right)\leq E\left(f(x)\right)\).反之,如果\(f…

CRF(条件随机场) 基本概念 场是什么 场就是一个联合概率分布.比如有3个变量,y1,y2,y3, 取值范围是{0,1}.联合概率分布就是{P(y2=0|y1=0,y3=0), P(y3=0|y1=0,y2=0), P(y2=0|y1=1,y3=0), P(y3=0|y1=1,y2=0), ...} 下图就是一个场的简单示意图. 也就是变量间取值的概率分布. 马尔科夫随机场 如果场中的变量只受相邻变量的影响,而与其他变量无关.则这样的场叫做马尔科夫随机场. 如下图,绿色点变量的取值只受周围相邻…

part 6 接下来就是无监督学习算法了. k均值聚类 问题背景 样本集描述: \[ x\in D, x\in R^n \] 之前的有监督学习问题中,所有的x都有对应的y.但是如果我们的x没有对应的y.但是我们还是希望对x进行分类那应该如何做呢. 迭代过程 最简单的想法就是圈地.对每个类别圈一定的样本.即类似于构造一个星团的过程,我们希望星团有一个中心,属于这个星团的星星离这个星团越近越好.不属于这个星团的星星离这个中心越远越好.但是这个中心的选取也是未知的,于是我们给出一个迭代算法: 任意选取…

目录 引言 经典示例 EM算法 GMM 推导 参考文献: 引言 Expectation maximization (EM) 算法是一种非常神奇而强大的算法. EM算法于 1977年 由Dempster 等总结提出. 说EM算法神奇而强大是因为它可以解决含有隐变量的概率模型问题. EM算法是一个简单而又复杂的算法. 说它简单是因为其操作过程就两步, E(expectation)步: 求期望; M(maximization)步, 求极大. 说它复杂,是因为刚刚学习的时候,你会发现EM算法并不像之前的…

中国知网:数学分析中Jensen不等式由浅入深进行教学…

若f(x)为区间I上的下凸(上凸)函数,则对于任意xi∈I和满足∑λi=1的λi>0(i=1,2,...,n),成立: \[f(\sum ^{n} _{i=1} \lambda _{i}x_{i})\leq \sum ^{n} _{i=1} \lambda _{i} f(x_{i}) \qquad (f(\sum ^{n}_{i=1}\lambda _{i}x_{i})\geq \sum ^{n}_{i=1}\lambda _{i}f(x_{i}))\] 特别地,取λi=1/n  (i=1,2,…

前言 在此记录一些不太成熟的思考,希望对各位看官有所启发. 从题目可以看出来这篇文章的主题很杂,这篇文章中我主要讨论的是深度学习为什么要"深"这个问题.先给出结论吧:"深"的层次结构是为了应对现实非线性问题中的复杂度,这种"深"的分层结构能够更好地表征图像语音等数据. 好了,如果各位看官感兴趣,那就让我们开始这次思考的旅程吧! 归并排序 我们首先从归并排序算法开始,这里先跟大家回顾一下这个算法,相信大家都已经非常熟悉了.排序是计算机基础算法中的一…

一.前述 数学基础知识对机器学习还有深度学习的知识点理解尤为重要,本节主要讲解极限等相关知识. 二.极限 1.例子 当 x 趋于 0 的时候,sin(x) 与 tan(x) 都趋于 0. 但是哪一个趋于 0 的速度更快一些呢? 我们考察这两个函数的商的极限, 所以当 x → 0 的时候,sin(x) 与 tan(x) 是同样级别的无穷小. 2.相关定理 如果三个函数满足 f(x) ≤ g(x) ≤ h(x), 而且他们都在 x0 处有极 限,那么 重要极限: 三.微分学 微分学的核心思想: 逼近…