2.1概率密度函数

2.1.1定义

设p(x)为随机变量x在区间[a,b]的概率密度函数,p(x)是一个非负函数,且满足

注意概率与概率密度函数的区别。

概率是在概率密度函数下对应区域的面积,如上图右所示,其公式如下

我们用概率密度函数来表示在区间[a,b]中所有可能的状态x的可能性。

条件概率密度函数,设p(x|y)是在条件y属于[r,s]下x(x属于[a,b])的概率密度函数,有

N维连续随机变量的联合概率密度函数记为p(X),其中X=(x1,...,xn),xi属于[ai,bi],有时我们也用符号

来替代p(X).

有时,甚至会混合搭配作为X和Y的联合概率密度函数。在N维例子中,有

2.1.2贝叶斯规则和推导

首先,把一个联合概率密度函数进行因式分解,有

重新整理后得到贝叶斯原理:

我们可以通过这个公式来推导在给定测量条件下状态的后验概率-p(x|y)。如果我们有一个对状态的先验概率密度函数p(x),以及对传感器模型的先验概率密度函数p(y|x)。通过扩大分母,有如下,

分母的由来通过边缘化,如下

,这在一般的非线性情况下去这么解释非常耗时的。

注意,在贝叶斯推论中,p(x)称为先验概率密度函数,而p(x|y)称为后验概率密度函数。这样,所有的先验信息都集中于p(x)而所有的后验信息都集中于p(x|y)。

2.1.3概率密度函数的矩

第0阶概率矩总是为1,第一阶概率矩称为均值μ,有如下

对于一般的矩阵函数F(X),其期望写成

但是我们把上面写成

第二阶概率矩称为协方差矩阵Σ:

那么下两个矩称为skewness and kurtosis(偏态和峰态)。

!!!!!!!!!向量的概率相关信息以及随机变量的概率相关信息的区别

2.14 样本均值和协方差

假设我们有随机变量x,以及它的概率密度函数p(x),我们可以从这个概率密度函数中得到样本,可以表示为

一个样本有时也称为随机变量的一个实现,我们直观地把它想成一次测量。

如果我们想要得到N个那样的样本,且想要估计随机变量x的均值和协方差,我们可以运用样本均值和样本协方差来这么做:

很明显,在样本协方差中的分母运用N-1而非N来作为归一化,这称为贝塞尔的校正。

2.1.5统计独立,以及不相关

两个随机变量x和y,我们说他们统计独立的话,则他们的联合概率密度因式分解为如下:

如果有以下等式成立

,则称变量不相关。

独立一定不相关,反之,则不然。我们将通常假设变量是统计独立的来简化计算。

2.1.6香农和互信息

通常我们对一些随机变量估计其概率密度函数,然后想要去量化我们是有多么的确定,例如,概率密度函数的均值。

一种方法就是查看负熵或者香农信息,H,它由如下给出

我们将在下面用高斯概率密度函数具体来表达。

另一个有用的量是互信息,I(X,Y),它在随机变量x和y之间,形式给出如下

互信息(Mutual Information)是信息论里一种有用的信息度量,它可以看成是一个随机变量中包含的关于另一个随机变量的信息量,或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

当x和y都统计独立,则有

当x和y是依赖的,我们有我们还有有用的关系,如下

2.17Cramer-Rao下界和费舍尔信息

假设有一个确定性的参数 θ,它影响随机变量x的结果。这可以通过把x的概率密度函数写成依赖于 θ来获得,如下

进一步假设我们得到一个从p(x| θ)的样本

那么, the Cramér-Rao lower bound (CRLB)说的是确定性参数θ的然和无偏估计的协方差由费舍尔信息矩阵定下界,

无偏估计意味着,下界意味着

因此CRLB就设置了一个基本的下限在给出我们测量之后,对一个参数的估计有多确定。

2.2高斯概率密度函数

一维高斯概率密度函数,由如下形式给出

μ是均值,是协方差,σ表示标准差,下图表示了一维高斯密度函数,

多维高斯密度函数,,其中随机变量x是n维的,表达如下,

是一个对称正定的协方差矩阵

2.2.2 Isserlis定理

多维高斯密度函数的矩去计算均值以及协方差以外的量会比较麻烦,但是有一些具体的例子稍后我们会利用,这值得讨论。我们可以运用Isserlis定理来计算更高阶的高斯随机变量

定理如下

设有四个变量,表示如下

我们可以把这个理论应用到计算矩阵表示的有用结果。

假设有,,要去计算表达式

p为非负整数,当p=0时,有,当p=1时,有

在标量中,,因此由上面得出,,对于p大于1,也用同样的方法。

我们也考虑如下例子,

x1的维数为N1,x2的维数为N2,计算如下表达式

同理,p是非负整数,当p=0时,有,当p=1时,有

类似的,有

最后来核查一下,有

进一步,我们有

A是一个与上面兼容的方阵。

2.2.3联合高斯概率密度函数,他们的因式分解,以及推断

对一对变量(x,y)的联合高斯,可写为

它也有同样的概率表示形式,这里的

我们可以用舒尔补码来求解联合高斯

很重要的是p(x|y)和p(y)是高斯密度函数,如果正好我们知道y的值(比如经过测量得到的),我们就可以计算出x在y条件下的可能性通过p(x|y)来计算。

这是高斯推断的一个基础:我们以关于我们的先验状态开始,然后通过一些测量来缩小先验状态x的范围,在  (2.46b)中,我们看到了对均值和协方差的一个调整,使之变得更小了。

P1-概率论基础(Primer on Probability Theory)的更多相关文章

  1. 概率论基础知识(Probability Theory)

    概率(Probability):事件发生的可能性的数值度量. 组合(Combination):从n项中选取r项的组合数,不考虑排列顺序.组合计数法则:. 排列(Permutation):从n项中选取r ...

  2. 一起啃PRML - 1.2 Probability Theory 概率论

    一起啃PRML - 1.2 Probability Theory @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ A key concept in t ...

  3. PGM:概率论基础知识

    http://blog.csdn.net/pipisorry/article/details/52459847 概率图模型PGM:概率论基础知识 独立性与条件独立性 独立性 条件独立性 也就是表示给定 ...

  4. Codeforces Round #594 (Div. 1) A. Ivan the Fool and the Probability Theory 动态规划

    A. Ivan the Fool and the Probability Theory Recently Ivan the Fool decided to become smarter and stu ...

  5. 【PRML读书笔记-Chapter1-Introduction】1.2 Probability Theory

    一个例子: 两个盒子: 一个红色:2个苹果,6个橘子; 一个蓝色:3个苹果,1个橘子; 如下图: 现在假设随机选取1个盒子,从中.取一个水果,观察它是属于哪一种水果之后,我们把它从原来的盒子中替换掉. ...

  6. AI 高等数学、概率论基础

    一.概论 基础引入: 原理一:[两边夹定理] 原理二:[极限] X为角度x对应的圆弧的点长: 原理三[单调性]: 引入: 二.导数 常见函数的导数: 四.应用: 求解: 泰勒展式和麦克劳林展式: 泰勒 ...

  7. [PR & ML 3] [Introduction] Probability Theory

    虽然学过Machine Learning和Probability今天看着一part的时候还是感觉挺有趣,听惊呆的,尤其是Bayesian Approach.奇怪发中文的笔记就很多人看,英文就没有了,其 ...

  8. Probability theory

    1.Probability mass functions (pmf) and Probability density functions (pdf) pmf 和 pdf 类似,但不同之处在于所适用的分 ...

  9. 概率论基础教程 (Sheldon M. Ross 著)

    第1章 组合分析 1.1 引言 1.2 计数基本法则 1.3 排列 1.4 组合 1.5 多项式系数 *1.6 方程的整数解个数 第2章 概率论公里 2.1 引言 2.2 样本空间和事件 2.3 概率 ...

随机推荐

  1. 服务发现之 Etcd VS Consul

    抄自这里 *********************************************************************************************** ...

  2. 【MySQL】探究之常用SQL

    一些SQL命令(不断更新,我总记不住,哭) List 建库建表 表的重命名(不区分大小写) 列的重命名 编码 修改结构 添加删除索引 大批量删除 binlog相关 select相关 数据库备份和恢复 ...

  3. Storm Topology及分组原理

    Storm的通信机制,需要满足如下一些条件以满足Storm的语义. 1.建立数据传输的缓冲区.在通信连接没有建立之前把发送的数据缓存起来.数据发送方可以在连接建立之前发送消息,而不需要等连接建立起来, ...

  4. 配置SQL Server 2005 远程连接(转)

    方法如下:  一.为 SQL Server 2005 启用远程连接1. 单击"开始",依次选择"程序"."Microsoft SQL Server 2 ...

  5. .NET 环境中使用RabbitMQ(转)

    在企业应用系统领域,会面对不同系统之间的通信.集成与整合,尤其当面临异构系统时,这种分布式的调用与通信变得越发重要.其次,系统中一般会有很多对实时性要求不高的但是执行起来比较较耗时的地方,比如发送短信 ...

  6. ASP.NET中进行消息处理(MSMQ) 一(转)

    MSMQ是微软消息队列的英文缩写.那么什么是消息队列?这些介绍网上一大片这里就不多说了.本文对于大虾级的人物来说这只是小玩意而已,对于初学者来说这文章还是有一定的帮助,希望路过的大虾们别笑话我班门弄斧 ...

  7. ChartControl

    <dxc:ChartControl Name="chartControl1">            <dxc:ChartControl.Diagram>  ...

  8. pH 值与曝气对硝化细菌硝化作用的影响

    http://wenku.baidu.com/view/c2723434eefdc8d376ee325d.html 摘要: 目的 探讨硝化细菌最佳工作条件,为应用和生产提供依据. 方法 通过人工调节液 ...

  9. 使用CSS和jQuery实现tab页

    使用jquery来操作DOM是极大的方便和简单,这儿只是简单的用一个使用css和jquery来实现的tab页来简单介绍一些jQuery的一些方便使用的方法,下面是html文件: <!DOCTYP ...

  10. c/c++ 对象内存布局

    一.对象内存查看工具 VS 编译器 CL 的一个编译选项可以查看 C++ 类的内存布局,非常有用.使用如下,从开始程序菜单找到 Visual Stdio 2012. 选择 VS 的命令行工具,按如下格 ...