P1-概率论基础(Primer on Probability Theory)
2.1概率密度函数
2.1.1定义
设p(x)为随机变量x在区间[a,b]的概率密度函数,p(x)是一个非负函数,且满足
注意概率与概率密度函数的区别。
概率是在概率密度函数下对应区域的面积,如上图右所示,其公式如下
我们用概率密度函数来表示在区间[a,b]中所有可能的状态x的可能性。
条件概率密度函数,设p(x|y)是在条件y属于[r,s]下x(x属于[a,b])的概率密度函数,有
N维连续随机变量的联合概率密度函数记为p(X),其中X=(x1,...,xn),xi属于[ai,bi],有时我们也用符号
来替代p(X).
有时,甚至会混合搭配作为X和Y的联合概率密度函数。在N维例子中,有
2.1.2贝叶斯规则和推导
首先,把一个联合概率密度函数进行因式分解,有
重新整理后得到贝叶斯原理:
我们可以通过这个公式来推导在给定测量条件下状态的后验概率-p(x|y)。如果我们有一个对状态的先验概率密度函数p(x),以及对传感器模型的先验概率密度函数p(y|x)。通过扩大分母,有如下,
分母的由来通过边缘化,如下
,这在一般的非线性情况下去这么解释非常耗时的。
注意,在贝叶斯推论中,p(x)称为先验概率密度函数,而p(x|y)称为后验概率密度函数。这样,所有的先验信息都集中于p(x)而所有的后验信息都集中于p(x|y)。
2.1.3概率密度函数的矩
第0阶概率矩总是为1,第一阶概率矩称为均值μ,有如下
对于一般的矩阵函数F(X),其期望写成
但是我们把上面写成
第二阶概率矩称为协方差矩阵Σ:
那么下两个矩称为skewness and kurtosis(偏态和峰态)。
!!!!!!!!!向量的概率相关信息以及随机变量的概率相关信息的区别
2.14 样本均值和协方差
假设我们有随机变量x,以及它的概率密度函数p(x),我们可以从这个概率密度函数中得到样本,可以表示为
一个样本有时也称为随机变量的一个实现,我们直观地把它想成一次测量。
如果我们想要得到N个那样的样本,且想要估计随机变量x的均值和协方差,我们可以运用样本均值和样本协方差来这么做:
很明显,在样本协方差中的分母运用N-1而非N来作为归一化,这称为贝塞尔的校正。
2.1.5统计独立,以及不相关
两个随机变量x和y,我们说他们统计独立的话,则他们的联合概率密度因式分解为如下:
如果有以下等式成立
,则称变量不相关。
独立一定不相关,反之,则不然。我们将通常假设变量是统计独立的来简化计算。
2.1.6香农和互信息
通常我们对一些随机变量估计其概率密度函数,然后想要去量化我们是有多么的确定,例如,概率密度函数的均值。
一种方法就是查看负熵或者香农信息,H,它由如下给出
我们将在下面用高斯概率密度函数具体来表达。
另一个有用的量是互信息,I(X,Y),它在随机变量x和y之间,形式给出如下
互信息(Mutual Information)是信息论里一种有用的信息度量,它可以看成是一个随机变量中包含的关于另一个随机变量的信息量,或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。
当x和y都统计独立,则有
当x和y是依赖的,我们有我们还有有用的关系,如下
2.17Cramer-Rao下界和费舍尔信息
假设有一个确定性的参数 θ,它影响随机变量x的结果。这可以通过把x的概率密度函数写成依赖于 θ来获得,如下
进一步假设我们得到一个从p(x| θ)的样本,
那么, the Cramér-Rao lower bound (CRLB)说的是确定性参数θ的然和无偏估计的协方差由费舍尔信息矩阵定下界,
无偏估计意味着,下界意味着
因此CRLB就设置了一个基本的下限在给出我们测量之后,对一个参数的估计有多确定。
2.2高斯概率密度函数
一维高斯概率密度函数,由如下形式给出
μ是均值,是协方差,σ表示标准差,下图表示了一维高斯密度函数,
多维高斯密度函数,,其中随机变量x是n维的,表达如下,
是一个对称正定的协方差矩阵
2.2.2 Isserlis定理
多维高斯密度函数的矩去计算均值以及协方差以外的量会比较麻烦,但是有一些具体的例子稍后我们会利用,这值得讨论。我们可以运用Isserlis定理来计算更高阶的高斯随机变量
定理如下
设有四个变量,表示如下
我们可以把这个理论应用到计算矩阵表示的有用结果。
假设有,,要去计算表达式
p为非负整数,当p=0时,有,当p=1时,有
在标量中,,因此由上面得出,,对于p大于1,也用同样的方法。
我们也考虑如下例子,
x1的维数为N1,x2的维数为N2,计算如下表达式
同理,p是非负整数,当p=0时,有,当p=1时,有
类似的,有
最后来核查一下,有
进一步,我们有
A是一个与上面兼容的方阵。
2.2.3联合高斯概率密度函数,他们的因式分解,以及推断
对一对变量(x,y)的联合高斯,可写为
它也有同样的概率表示形式,这里的
我们可以用舒尔补码来求解联合高斯
很重要的是p(x|y)和p(y)是高斯密度函数,如果正好我们知道y的值(比如经过测量得到的),我们就可以计算出x在y条件下的可能性通过p(x|y)来计算。
这是高斯推断的一个基础:我们以关于我们的先验状态开始,然后通过一些测量来缩小先验状态x的范围,在 (2.46b)中,我们看到了对均值和协方差的一个调整,使之变得更小了。
P1-概率论基础(Primer on Probability Theory)的更多相关文章
- 概率论基础知识(Probability Theory)
概率(Probability):事件发生的可能性的数值度量. 组合(Combination):从n项中选取r项的组合数,不考虑排列顺序.组合计数法则:. 排列(Permutation):从n项中选取r ...
- 一起啃PRML - 1.2 Probability Theory 概率论
一起啃PRML - 1.2 Probability Theory @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ A key concept in t ...
- PGM:概率论基础知识
http://blog.csdn.net/pipisorry/article/details/52459847 概率图模型PGM:概率论基础知识 独立性与条件独立性 独立性 条件独立性 也就是表示给定 ...
- Codeforces Round #594 (Div. 1) A. Ivan the Fool and the Probability Theory 动态规划
A. Ivan the Fool and the Probability Theory Recently Ivan the Fool decided to become smarter and stu ...
- 【PRML读书笔记-Chapter1-Introduction】1.2 Probability Theory
一个例子: 两个盒子: 一个红色:2个苹果,6个橘子; 一个蓝色:3个苹果,1个橘子; 如下图: 现在假设随机选取1个盒子,从中.取一个水果,观察它是属于哪一种水果之后,我们把它从原来的盒子中替换掉. ...
- AI 高等数学、概率论基础
一.概论 基础引入: 原理一:[两边夹定理] 原理二:[极限] X为角度x对应的圆弧的点长: 原理三[单调性]: 引入: 二.导数 常见函数的导数: 四.应用: 求解: 泰勒展式和麦克劳林展式: 泰勒 ...
- [PR & ML 3] [Introduction] Probability Theory
虽然学过Machine Learning和Probability今天看着一part的时候还是感觉挺有趣,听惊呆的,尤其是Bayesian Approach.奇怪发中文的笔记就很多人看,英文就没有了,其 ...
- Probability theory
1.Probability mass functions (pmf) and Probability density functions (pdf) pmf 和 pdf 类似,但不同之处在于所适用的分 ...
- 概率论基础教程 (Sheldon M. Ross 著)
第1章 组合分析 1.1 引言 1.2 计数基本法则 1.3 排列 1.4 组合 1.5 多项式系数 *1.6 方程的整数解个数 第2章 概率论公里 2.1 引言 2.2 样本空间和事件 2.3 概率 ...
随机推荐
- 使用Python xlwt写excel文件
如果需要使用Python写Excel文件,首先下载或者安装xlwt. pip install xlwt 下面的这些demo应该可以帮助开发者快速上手使用xlwt写Excel文件: 创建工作簿(work ...
- EditText----
==============01 editText属性 1.输入法Enter键图标的设置: 软件盘的界面替换只有一个属性android:imeOptions,这个属性的可以取的值有normal,a ...
- bootstrap-导航条
<body style="padding-top:50px"> <!-- navbar 导航条的基础样式 nav navbar-nav 导航条里菜单的固定样式组合 ...
- Blackfin DSP(二):寄存器操作与GPIO
BlackfinDSP的寄存器是通过指针操作的,与51.ARM等MCU一样,通过“或”操作来置1,通过“与”操作清零. 在DSP上最简单的外设非IO口莫属,但是由于其功能强大,远非一般IO口可比,因此 ...
- 29. Populating Next Right Pointers in Each Node && Populating Next Right Pointers in Each Node II
Populating Next Right Pointers in Each Node OJ: https://oj.leetcode.com/problems/populating-next-rig ...
- 68. Longest Common Prefix
Longest Common Prefix Write a function to find the longest common prefix string amongst an array of ...
- [JavaScript]函数调用作用域的一些问题
[function].call(obj,param1,param2,....) 让函数[function]的当前作用域变成obj,即函数中的this变成这个obj,同时函数接收obj对象的指定的几个参 ...
- gcc与makefile编译 BY 四喜三顺
gcc编译控制过程:(假设源代码为a.c)(1)源文件到预处理文件: gcc -E -o a.cxx a.c a.cxx显示调用哪些头文件(2)生成汇编代码: g ...
- Node.js初探之hello world
昨天公司内部培训,主讲人王老板对Node.js评价很高,连用几个“变态”来形容,恰好今天周末,有时间来认识下Node.js,对一门新语言最好的认识,是让其输出“hello world”,今天我就利用N ...
- ajax执行完成后,再执行下面的代码的解决办法
一般ajax设置的都是异步的,但是有时候我们有这种需求,就是等ajax执行完成之后,在执行下面的函数. 1设置async:false 在jq中直接设置了ajax是异步的还是同步的 一般如果不写这个,默 ...