目录 机器学习基础--信息论相关概念总结以及理解 1. 信息量(熵) 2. KL散度 3. 交叉熵 4. JS散度 机器学习基础--信息论相关概念总结以及理解 摘要: 熵(entropy).KL 散度(Kullback-Leibler (KL) divergence)和交叉熵(cross-entropy)以及JS散度,在深度学习以及机器学习很多地方都用的到,尤其是对于目标函数和损失函数的定义.在逻辑回归问题中,目标函数就是用交叉熵定义的. 1. 信息量(熵) 信息论是应用数学的一个分支,主要研究…
熵:H(p)=−∑xp(x)logp(x) 交叉熵:H(p,q)=−∑xp(x)logq(x) 相对熵:KL(p∥q)=−∑xp(x)logq(x)p(x) 相对熵(relative entropy)也叫 KL 散度(KL divergence): 用来度量两分布之间的不相似性(dissimilarity): 通过交叉熵的定义,连接三者: H(p,q)===−∑xp(x)logq(x)−∑xp(x)logp(x)−∑xp(x)logq(x)p(x)H(p)+KL(p∥q) 1. 简森不等式与 K…
我们在开发微信相关的应用的时候,一般需要完善的基础模块支持,包括微信公众号,微信企业号,以及一些业务模块的支持,一般随着功能的增多,我们需要非常清晰的界定他们的关系.模块的分拆以及合并往往需要考虑的代码的重用,而且尽量做到简单而不重复.本篇随笔基于我的微信框架的各个模块的功能介绍以及他们关系的描述. 1.公众号模块的命名及相关关系 微信开发,我们首先需要利用我们的语言(这里是利用C#语言),为所有用到的API接口实现进一步的封装,方便使用,微信API模块包含的内容很多,大概可以分为下面的项目.…
引入1:随机变量函数的分布 给定X的概率密度函数为fX(x), 若Y = aX, a是某正实数,求Y得概率密度函数fY(y). 解:令X的累积概率为FX(x), Y的累积概率为FY(y). 则 FY(y) = P(Y <= y) = P(aX <= y) = P(X <= y/a) = FX(y/a), 则 fY(y) = d(FX(y/a)) / dy = 1/a * fX(x/a) 引入2:如何定义信息量 某事件发生的概率小,则该事件的信息量大: 如果两个事件X和Y独立,即p(xy)…
作者:桂. 时间:2017-04-06  12:29:26 链接:http://www.cnblogs.com/xingshansi/p/6672908.html 声明:欢迎被转载,不过记得注明出处哦~ 前言 之前在梳理最小二乘的时候,矩阵方程有一类可以利用非负矩阵分解(Non-negative matrix factorization, NMF)的方法求解,经常见到别人提起这个算法,打算对此梳理一下.优化问题求解,最基本的是问题描述与准则函数的定义,紧接着才涉及准则函数的求解问题,本文为NMF…
在这篇文章中,我们将探讨一种比较两个概率分布的方法,称为Kullback-Leibler散度(通常简称为KL散度).通常在概率和统计中,我们会用更简单的近似分布来代替观察到的数据或复杂的分布.KL散度帮助我们衡量在选择近似值时损失了多少信息. 让我们从一个问题开始我们的探索.假设我们是太空科学家,正在访问一个遥远的新行星,我们发现了一种咬人的蠕虫,我们想研究它.我们发现这些蠕虫有10颗牙齿,但由于它们不停地咀嚼,很多最后都掉了牙.在收集了许多样本后,我们得出了每条蠕虫牙齿数量的经验概率分布: 虽…
1 KL散度 KL散度(Kullback–Leibler divergence) 定义如下: $D_{K L}=\sum\limits_{i=1}^{n} P\left(x_{i}\right) \times \log \left(\frac{P\left(x_{i}\right)}{Q\left(x_{i}\right)}\right)$ 目标:证明上式非负. 2 凸函数与凹函数 连续函数 $f(x)$ 的定义域为 $I$ ,如果对 $I$ 内任意两个实数 $x_{1}$ , $x_{2}$…
机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系,查了一些资料发现优化这3个东西其实是等价的. 熵和交叉熵 提到交叉熵就需要了解下信息论中熵的定义.信息论认为: 确定的事件没有信息,随机事件包含最多的信息. 事件信息的定义为:\(I(x)=-log(P(x))\):而熵就是描述信息量:\(H(x)=E_{x\sim P}[I(x)]\),也就是\(H(x)=E_{x\sim P}[-log(P(x))]=-\Sigma_xP(x)l…
熵:可以表示一个事件A的自信息量,也就是A包含多少信息. KL散度:可以用来表示从事件A的角度来看,事件B有多大不同. 交叉熵:可以用来表示从事件A的角度来看,如何描述事件B. 一种信息论的解释是: 熵的意义是对A事件中的随机变量进行编码所需的最小字节数. KL散度的意义是“额外所需的编码长度”如果我们用B的编码来表示A. 交叉熵指的是当你用B作为密码本来表示A时所需要的“平均的编码长度”. 一.熵 1.定义 衡量一个事件所包含的信息量 $$S(A)=-\sum_i P_A(x_i)logP_A…
一.信息熵 若一个离散随机变量 \(X\) 的可能取值为 \(X = \{ x_{1}, x_{2},...,x_{n}\}\),且对应的概率为: \[p(x_{i}) = p(X=x_{i}) \] 那么随机变量 \(X\) 的熵定义为: \[H(X) = -\sum_{i=1}^{n}p(x_{i})logp(x_{i}) \] 规定当 \(p(x_{i})=0\) 时,\(H(X)=0\). 通过公式可以看出,若随机变量 \(X\) 的取值等概率分布,即 \(p(x_{i} = p(x_{…