P1-概率论基础(Primer on Probability Theory)
2.1概率密度函数
2.1.1定义
设p(x)为随机变量x在区间[a,b]的概率密度函数,p(x)是一个非负函数,且满足
注意概率与概率密度函数的区别。
概率是在概率密度函数下对应区域的面积,如上图右所示,其公式如下
我们用概率密度函数来表示在区间[a,b]中所有可能的状态x的可能性。
条件概率密度函数,设p(x|y)是在条件y属于[r,s]下x(x属于[a,b])的概率密度函数,有
N维连续随机变量的联合概率密度函数记为p(X),其中X=(x1,...,xn),xi属于[ai,bi],有时我们也用符号
来替代p(X).
有时,甚至会混合搭配作为X和Y的联合概率密度函数。在N维例子中,有
2.1.2贝叶斯规则和推导
首先,把一个联合概率密度函数进行因式分解,有
重新整理后得到贝叶斯原理:
我们可以通过这个公式来推导在给定测量条件下状态的后验概率-p(x|y)。如果我们有一个对状态的先验概率密度函数p(x),以及对传感器模型的先验概率密度函数p(y|x)。通过扩大分母,有如下,
分母的由来通过边缘化,如下
,这在一般的非线性情况下去这么解释非常耗时的。
注意,在贝叶斯推论中,p(x)称为先验概率密度函数,而p(x|y)称为后验概率密度函数。这样,所有的先验信息都集中于p(x)而所有的后验信息都集中于p(x|y)。
2.1.3概率密度函数的矩
第0阶概率矩总是为1,第一阶概率矩称为均值μ,有如下
对于一般的矩阵函数F(X),其期望写成
但是我们把上面写成
第二阶概率矩称为协方差矩阵Σ:
那么下两个矩称为skewness and kurtosis(偏态和峰态)。
!!!!!!!!!向量的概率相关信息以及随机变量的概率相关信息的区别
2.14 样本均值和协方差
假设我们有随机变量x,以及它的概率密度函数p(x),我们可以从这个概率密度函数中得到样本,可以表示为
一个样本有时也称为随机变量的一个实现,我们直观地把它想成一次测量。
如果我们想要得到N个那样的样本,且想要估计随机变量x的均值和协方差,我们可以运用样本均值和样本协方差来这么做:
很明显,在样本协方差中的分母运用N-1而非N来作为归一化,这称为贝塞尔的校正。
2.1.5统计独立,以及不相关
两个随机变量x和y,我们说他们统计独立的话,则他们的联合概率密度因式分解为如下:
如果有以下等式成立
,则称变量不相关。
独立一定不相关,反之,则不然。我们将通常假设变量是统计独立的来简化计算。
2.1.6香农和互信息
通常我们对一些随机变量估计其概率密度函数,然后想要去量化我们是有多么的确定,例如,概率密度函数的均值。
一种方法就是查看负熵或者香农信息,H,它由如下给出
我们将在下面用高斯概率密度函数具体来表达。
另一个有用的量是互信息,I(X,Y),它在随机变量x和y之间,形式给出如下
互信息(Mutual Information)是信息论里一种有用的信息度量,它可以看成是一个随机变量中包含的关于另一个随机变量的信息量,或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。
当x和y都统计独立,则有
当x和y是依赖的,我们有我们还有有用的关系,如下
2.17Cramer-Rao下界和费舍尔信息
假设有一个确定性的参数 θ,它影响随机变量x的结果。这可以通过把x的概率密度函数写成依赖于 θ来获得,如下
进一步假设我们得到一个从p(x| θ)的样本,
那么, the Cramér-Rao lower bound (CRLB)说的是确定性参数θ的然和无偏估计的协方差由费舍尔信息矩阵定下界,
无偏估计意味着,下界意味着
因此CRLB就设置了一个基本的下限在给出我们测量之后,对一个参数的估计有多确定。
2.2高斯概率密度函数
一维高斯概率密度函数,由如下形式给出
μ是均值,是协方差,σ表示标准差,下图表示了一维高斯密度函数,
多维高斯密度函数,,其中随机变量x是n维的,表达如下,
是一个对称正定的协方差矩阵
2.2.2 Isserlis定理
多维高斯密度函数的矩去计算均值以及协方差以外的量会比较麻烦,但是有一些具体的例子稍后我们会利用,这值得讨论。我们可以运用Isserlis定理来计算更高阶的高斯随机变量
定理如下
设有四个变量,表示如下
我们可以把这个理论应用到计算矩阵表示的有用结果。
假设有,,要去计算表达式
p为非负整数,当p=0时,有,当p=1时,有
在标量中,,因此由上面得出,,对于p大于1,也用同样的方法。
我们也考虑如下例子,
x1的维数为N1,x2的维数为N2,计算如下表达式
同理,p是非负整数,当p=0时,有,当p=1时,有
类似的,有
最后来核查一下,有
进一步,我们有
A是一个与上面兼容的方阵。
2.2.3联合高斯概率密度函数,他们的因式分解,以及推断
对一对变量(x,y)的联合高斯,可写为
它也有同样的概率表示形式,这里的
我们可以用舒尔补码来求解联合高斯
很重要的是p(x|y)和p(y)是高斯密度函数,如果正好我们知道y的值(比如经过测量得到的),我们就可以计算出x在y条件下的可能性通过p(x|y)来计算。
这是高斯推断的一个基础:我们以关于我们的先验状态开始,然后通过一些测量来缩小先验状态x的范围,在 (2.46b)中,我们看到了对均值和协方差的一个调整,使之变得更小了。
P1-概率论基础(Primer on Probability Theory)的更多相关文章
- 概率论基础知识(Probability Theory)
概率(Probability):事件发生的可能性的数值度量. 组合(Combination):从n项中选取r项的组合数,不考虑排列顺序.组合计数法则:. 排列(Permutation):从n项中选取r ...
- 一起啃PRML - 1.2 Probability Theory 概率论
一起啃PRML - 1.2 Probability Theory @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ A key concept in t ...
- PGM:概率论基础知识
http://blog.csdn.net/pipisorry/article/details/52459847 概率图模型PGM:概率论基础知识 独立性与条件独立性 独立性 条件独立性 也就是表示给定 ...
- Codeforces Round #594 (Div. 1) A. Ivan the Fool and the Probability Theory 动态规划
A. Ivan the Fool and the Probability Theory Recently Ivan the Fool decided to become smarter and stu ...
- 【PRML读书笔记-Chapter1-Introduction】1.2 Probability Theory
一个例子: 两个盒子: 一个红色:2个苹果,6个橘子; 一个蓝色:3个苹果,1个橘子; 如下图: 现在假设随机选取1个盒子,从中.取一个水果,观察它是属于哪一种水果之后,我们把它从原来的盒子中替换掉. ...
- AI 高等数学、概率论基础
一.概论 基础引入: 原理一:[两边夹定理] 原理二:[极限] X为角度x对应的圆弧的点长: 原理三[单调性]: 引入: 二.导数 常见函数的导数: 四.应用: 求解: 泰勒展式和麦克劳林展式: 泰勒 ...
- [PR & ML 3] [Introduction] Probability Theory
虽然学过Machine Learning和Probability今天看着一part的时候还是感觉挺有趣,听惊呆的,尤其是Bayesian Approach.奇怪发中文的笔记就很多人看,英文就没有了,其 ...
- Probability theory
1.Probability mass functions (pmf) and Probability density functions (pdf) pmf 和 pdf 类似,但不同之处在于所适用的分 ...
- 概率论基础教程 (Sheldon M. Ross 著)
第1章 组合分析 1.1 引言 1.2 计数基本法则 1.3 排列 1.4 组合 1.5 多项式系数 *1.6 方程的整数解个数 第2章 概率论公里 2.1 引言 2.2 样本空间和事件 2.3 概率 ...
随机推荐
- Hibernate5.2关联关系之单向一对多(一)
Hibernate5.2之单向一对多 一. 简介 Hibernate中最复杂的应该就是各种关联(单向一对多.单向多对一.双向一对多.一对一.多对多)关系的映射,于是笔者就想着去写一些关于Hibe ...
- 一个可以设置所有子控件是否可以点击的Layout的实现
http://www.cnblogs.com/csonezp/p/4956315.html 最近在做一个功能,想在某个状态设置整个界面不可点击,后台任务执行完毕后再可以点击. 最直观的想法是直接让所有 ...
- C语言面试题
#include <stdio.h> int main() { ] = {, , , , }; ); // <==> (unsigned int)&a+sizeof(* ...
- DOMContentLoaded和jquery的ready和window.onload的顺序
document.addEventListener('DOMContentLoaded', function(){ alert(1) }); window.onload=function(){ ale ...
- c语言内存对齐问题
#include <stdio.h>#pragma pack(4)struct stu{char a;short b;int c;char d;};int main(){printf(&q ...
- Blackfin DSP(三):BF533 的EBIU接口之flash
上一节谈了GPIO问题,是用BF561 ezkit进行说明的,这是因为561 ezkit上的GPIO是与LED直连的,讲解GPIO时不会涉及到其它问题,降低了复杂性.对于533,也采取同样的操作即可. ...
- 创建sa账号
①以windows身份验证的方式默认登陆 ②选择安全性下的登录名中的sa账号,右键选择属性,进行相关项的设置 ③将sa账号的状态中对应的登录项由之前的禁用,改为已启用 ④将sa对应的密码进行修改为自己 ...
- adb devices offline 问题大总结
遇到doc对话框中adb devices ,一直显示设备处于offline状态,各种搜后安装所谓的: 1.开启usb调试模式2.关闭第三方手机助手软件3.重启adb服务 adb kill-ser ...
- 关于oracle中to_char和to_date的用法
一.24小时的形式显示出来要用HH24 select to_char(sysdate,'yyyy-MM-dd HH24:mi:ss') from dual; select to_date('200 ...
- Linux:去除认证,加速 SSH登录
编辑配置文件 /etc/ssh/sshd_config vim /etc/ssh/sshd_config 找到 UseDNS选项,如果没有注释,将其注释 #UseDNS yes 添加 UseDNS n ...