Probability theory
1.Probability mass functions (pmf) and Probability density functions (pdf)
pmf 和 pdf 类似,但不同之处在于所适用的分布类型
PMF -> <font color='green'>discrete distributions</font>, while pdf -> <font color='green'>continuous distributions</font>
例如:
pmf: if P(X=5) = 0.2,则随机变量等于5时的概率是0.2
(pmf非负且sum等于1)
但是pdf就不能这么说了,因为pdf定义在point上,而他的Probability却定义在积分上,即:$$\int_A^Bf(x)dx \quad \textrm{and} \quad X\in [A,B] $$
若$A=B$则积分为0,给定点的"概率"永远是0。
因为我们只要确保积分后的结果是合法的概率值就可以,所以pdf可以大于1(离散分布就不可以了),但是pdf必须非负且积分区间是$(-\infty, +\infty)$
2.Cumulative Distribution Funtions
CDF是累积分布函数
$F(c) = P(X<c);\textrm{F is the CDF}$
离散分布:
$F(c) = \sum_{-\infty}^c p(c)$
连续分布:
$F(c) = \int_{-\infty}^c f(x)dx$
3.likelihood function
在统计学中,Likelihood function似然函数是一个带参数的统计模型函数,所谓统计模型statistical model就是$(S,P)$,其中S是可能的观测结果集合,例如,样本空间,P则是基于S的概率分布,也就是S中事件发生的概率。似然函数可以用来做参数估计,在英语单词中likelihood和probability可近似使用,非正式语境下为同义词。但在统计学上是有差别的。
probability:给定参数,描述事件结果的函数。e.g.如果一个硬币抛十次,每次正面朝上的probability是多少?
likelihood:给定结果,描述带参数的函数。e.g.如果一个硬币抛了十次,有十次正面朝上,likelihood是什么?
定义:
$$\ell(\theta|x) = P(x|\theta)$$
解释:The likelihood of a set of parameter values, θ, given outcomes x, is equal to theprobability of those observed outcomes given those parameter values.
似然函数依据变量是离散的还是连续的可分为如下:
Discrete probability distribution:$\ell(\theta|x) = p_{\theta}(x)=P_{\theta}(X=x)$
Continuous probability distribution:$\ell(\theta|x)=f_\theta(x)$
这里面需要注意到是似然函数是参数$\theta$的函数,x是常量,大写的$X$是随机“变量”,小写的$x$是常量(给定的值)。可以这样理解,在现有模型下,x是一次实验的观测结果。对于$f(x|\theta)$,如果把它看成x固定,则是一个pdf,如果把他看成x固定,则是likelihood function.但不能理解成条件概率,因为$\theta$不是随机变量,只是参数。所以大多情况下,会写成$P(X=x;\theta)$以作区别。
总结:PMF and PDF are almost the same, but one is for discrete distributions and one is for continuous distributions. CDF are different, but are the sum/integral of PMF/PDF and tell us **the probability that X is less than a certain value**.
参考资料:https://www.quora.com/What-is-the-relationship-between-the-probability-mass-density-and-cumulative-distribution-functions
Probability theory的更多相关文章
- 一起啃PRML - 1.2 Probability Theory 概率论
一起啃PRML - 1.2 Probability Theory @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ A key concept in t ...
- Codeforces Round #594 (Div. 1) A. Ivan the Fool and the Probability Theory 动态规划
A. Ivan the Fool and the Probability Theory Recently Ivan the Fool decided to become smarter and stu ...
- 【PRML读书笔记-Chapter1-Introduction】1.2 Probability Theory
一个例子: 两个盒子: 一个红色:2个苹果,6个橘子; 一个蓝色:3个苹果,1个橘子; 如下图: 现在假设随机选取1个盒子,从中.取一个水果,观察它是属于哪一种水果之后,我们把它从原来的盒子中替换掉. ...
- [PR & ML 3] [Introduction] Probability Theory
虽然学过Machine Learning和Probability今天看着一part的时候还是感觉挺有趣,听惊呆的,尤其是Bayesian Approach.奇怪发中文的笔记就很多人看,英文就没有了,其 ...
- 概率论基础知识(Probability Theory)
概率(Probability):事件发生的可能性的数值度量. 组合(Combination):从n项中选取r项的组合数,不考虑排列顺序.组合计数法则:. 排列(Permutation):从n项中选取r ...
- P1-概率论基础(Primer on Probability Theory)
2.1概率密度函数 2.1.1定义 设p(x)为随机变量x在区间[a,b]的概率密度函数,p(x)是一个非负函数,且满足 注意概率与概率密度函数的区别. 概率是在概率密度函数下对应区域的面积,如上图右 ...
- Tips on Probability Theory
1.独立与不相关 随机变量X和Y相互独立,有:E(XY) = E(X)E(Y). 独立一定不相关,不相关不一定独立(高斯过程里二者等价) .对于均值为零的高斯随机变量,“独立”和“不相关”等价的. 独 ...
- CF1239A Ivan the Fool and the Probability Theory
思路: 可以转化为“strip”(http://tech-queries.blogspot.com/2011/07/fit-12-dominos-in-2n-strip.html)问题.参考了http ...
- CF C.Ivan the Fool and the Probability Theory【思维·构造】
题目传送门 题目大意: 一个$n*m$的网格图,每个格子可以染黑色.白色,问每个格子最多有一个相邻格子颜色相同的涂色方案数$n,m<=1e5$ 分析: 首先,考虑到如果有两个相邻的格子颜色相同, ...
随机推荐
- Oracle如何禁止并行
PURPOSE ------- To explain how to disable Parallel Execution on Session/System level SCOPE &am ...
- iOS设计模式解析(一)工厂方法
工厂方法:定义创建对象的借口,让子类决定实例化哪一个类.工厂方法是一个类的实例化延迟到了子类 例如 :Shoes厂有两个子类(Newbalance.Nike)构建类图如下: 代码实现: #i ...
- VS2010 添加资源文件后,出现 “LNK1123: 转换到 COFF 期间失败: 文件无效或损坏”错误
1>LINK : fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏 解决方法: 一.1.点击“项目”-->“属性”-->“清单工具” 2.‘输入 ...
- cURL模拟POST方法提交XML数据并解析
php编程中会用到xml格式传送数据,这里演示下php以post形式发送xml,服务器接收,并解析xml的过程! post_xml.php源码: <?php header("Conte ...
- struts2笔记11-OGNL
1.OGNL Object-Graph Navigation Language,对象-图 导航语言,可以方便的操作struts2值栈对象 2.对象栈操作方法 (1)action普通属性的访问方法 &l ...
- python作业day4计算器
思路: 用循环提取最里面的括号,再进行运算 运算时利用正则表达式寻找相应的运算符 先进行乘除,再进行加减 (参考武sir和金角大王的代码) 流程图: 代码: #!/usr/bin/env python ...
- Oracle 导出HTML
http://www.linuxidc.com/Linux/2010-10/29133.htm Oracle 执行计划: http://czmmiao.iteye.com/blog/1471756 h ...
- MAC 下使用ipv6、ipv4观看电视、网络电视
换了mac book,ipv6电视却看不了了,为了看电视,只要自己动手了. 关于ipv6是啥和哪里有ipv6这里就不说了,找度娘吧. 我们观看IPv6视频直播信号有两种,一种是mms协议,另外一种 ...
- LInux 下安装jdk
安装jdk版本为1.6.0_12 一.下载jdk 下载地址:http://download.java.net/jdk6/ 选择Linux Platform jdk-6u12-linux-i586.bi ...
- iterm快捷键及操作技巧(附Linux快捷键)
标签操作 新建标签:command + t 关闭标签:command + w 切换标签:command + 数字 command + 左右方向键 切换全屏:command + enter 查找:com ...