贝叶斯定理推导(Bayes' Theorem Induction)
这里用Venn diagram来不严谨地推导一下贝叶斯定理。
假设A和B为两个不相互独立的事件。
交集(intersection):
上图红色部分即为事件A和事件B的交集。
并集(union):
由Venn diagram可以看出,在事件B已经发生的情况下,事件A发生的概率为事件A和事件B的交集除以事件B:
同理,在事件A已经发生的情况下,事件B发生的概率为事件A和事件B的交集除以事件A:
注:表示 A,B 事件同时发生的概率,如果 A 和 B 是相互独立的两个事件,那么:。
由上面的公式可以得到:
然后,我们就可以得到贝叶斯定理:
其中: 是先验概率(prior probability),是条件概率(conditional probability),是后验概率(posterior probability)。是联合概率(joint probability),通常写成P(A,B)。
注:条件概率 P(B|A) ---> 给定事件A,事件B发生的概率(probability of event B occuring given event A)。
又根据Law of Total Probability:
注:表示事件A不发生的概率。
这个可以用probability tree来帮助理解一下:
因此,贝叶斯定理可以扩展为:
贝叶斯定理通常用于由已知的先验概率和条件概率,推算出后验概率。
举一个简单的例子:某地平时下雨的概率是0.3,小明平时带伞的概率是0.4,小明下雨天带伞的概率是0.8。某一天小明带了伞,请问这天下雨的概率是多少?
解答:也就是需要求P(下雨|小明带伞),把上面的数字代入公式即:
这个例子的先验概率是平时下雨的概率0.3,由于我们已知小明带了伞这一信息,因此我们可以估算出后验概率,也就是当天下雨的概率是0.6。
先验概率是怎么得来的呢?通常是人们的经验总结或者说是估算,比如说某地一个月里面下了3天雨,我们就估算某地平时下雨的概率是0.3。
如果条件不止一个呢?让我们把上面的例子改一下:某地平时下雨的概率是0.3,平时刮风的概率是0.4,下雨天刮风的概率是0.6,小明平时带伞的概率是0.4,小明下雨天带伞的概率是0.8。某一天小明带了伞,且当天在刮风,请问这天下雨的概率是多少?
解答:也就是需要求P(下雨|小明带伞,刮风),把上面的数字代入公式即:
注:这里假设小明带伞和刮风之间没有关联,两条件互不影响(条件独立假设),因此属于朴素贝叶斯的范畴。
长久以来,人们信奉的是频率主义。比如把一枚硬币抛10000次,有5000次正面朝上,5000次反面朝上,那么我们就可以得知抛这枚硬币,其正面朝上的概率是0.5。通常,我们需要某一事件发生足够多的次数,我们才可以观察到它的规律。
在现实生活中,很多事件并不会在相对较短的时间内多次发生。这时候,贝叶斯定理就发挥作用了。比如说我们想知道刮风天下雨的概率是多少,我们不用等10000个刮风天,看其中有几天下了雨。我们只需要估算出下雨天会刮风的概率,平时下雨的概率,平时刮风的概率,就可以估算出刮风天会下雨的概率是多少了。先验概率估算得不准确并没有关系,人们可以通过未来事件的发生情况,不断对后验概率做出调整。
贝叶斯定理推导(Bayes' Theorem Induction)的更多相关文章
- 【概率论】2-3:贝叶斯定理(Bayes' Theorem)
title: [概率论]2-3:贝叶斯定理(Bayes' Theorem) categories: Mathematic Probability keywords: Bayes' Theorem 贝叶 ...
- (main)贝叶斯统计 | 贝叶斯定理 | 贝叶斯推断 | 贝叶斯线性回归 | Bayes' Theorem
2019年08月31日更新 看了一篇发在NM上的文章才又明白了贝叶斯方法的重要性和普适性,结合目前最火的DL,会有意想不到的结果. 目前一些最直觉性的理解: 概率的核心就是可能性空间一定,三体世界不会 ...
- 读Bayes' Theorem
Bayes' Theorem定理的原理说明,三个简单的例子来说明用法及一些练习. Bayes' Theorem就是概率问题,论文相对比较好理解,也不必做什么笔记.
- Bayes' theorem (贝叶斯定理)
前言 AI时代的到来一下子让人感觉到数学知识有些捉襟见肘,为了不被这个时代淘汰,我们需要不断的学习再学习.其中最常见的就是贝叶斯定理,这个定理最早由托马斯·贝叶斯提出. 贝叶斯方法的诞生源于他生前为解 ...
- Naive Bayes Theorem and Application - Theorem
Naive Bayes Theorm And Application - Theorem Naive Bayes model: 1. Naive Bayes model 2. model: discr ...
- PRML读书笔记——机器学习导论
什么是模式识别(Pattern Recognition)? 按照Bishop的定义,模式识别就是用机器学习的算法从数据中挖掘出有用的pattern. 人们很早就开始学习如何从大量的数据中发现隐藏在背后 ...
- ML(3): 贝叶斯方法
对于分类问题,我们每个人每天都在执行分类操作,只是我们没有意识到罢了.例如,当你看到一个陌生人,你的脑子下意识判断TA是男是女:你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱.那边有个非主流” ...
- 如何通俗理解贝叶斯推断与beta分布?
有一枚硬币(不知道它是否公平),假如抛了三次,三次都是“花”: 能够说明它两面都是“花”吗? 1 贝叶斯推断 按照传统的算法,抛了三次得到三次“花”,那么“花”的概率应该是: 但是抛三次实在太少了,完 ...
- Bayesian Statistics for Genetics | 贝叶斯与遗传学
Common sense reduced to computation - Pierre-Simon, marquis de Laplace (1749–1827) Inventor of Bayes ...
随机推荐
- Python—反射
反射 1 什么是反射 反射的概念是由Smith在1982年首次提出的,主要是指程序可以访问.检测和修改它本身状态或行为的一种能力(自省).这一概念的提出很快引发了计算机科学领域关于应用反射性的研究.它 ...
- 用C# BigInteger实现的BigDecimal类,终于可以直接做四则运算了。
https://code.google.com/p/dotnet-big-decimal/ 这是个BigDecimal类的开源项目,支持Operators +, - and *. 俺给改了改,加上了除 ...
- Python_字符串初识及操作
字符串初识及操作 str 'alex'.'1235443543'.'[1,2,3]'.可存放少量数据. 索引.切片.步长 索引编号 正向索引 'python' 012345 'p'的正向索引编号为0 ...
- Windows Docker 安装
win7.win8 .win10等需要利用 docker toolbox 来安装,国内可以使用阿里云的镜像来下载,下载地址:http://mirrors.aliyun.com/docker-toolb ...
- MySQL数据性能优化-修改方法与步骤
原文:http://bbs.landingbj.com/t-0-240421-1.html 数据库优化应该是每个设计到数据库操作应用必须涉及到的操作. 经常调试修改数据库性能主要有三个方面 1.MyS ...
- [转帖]cnblog 新闻 : 亚太云计算市场报告:腾讯位列前五 份额首超谷歌
亚太云计算市场报告:腾讯位列前五 份额首超谷歌 投递人 itwriter 发布于 2019-03-18 12:06 评论(1) 有213人阅读 原文链接 [收藏] « » 美国市场研究机构 Syner ...
- [转帖]How To Be Successful
How To Be Successful http://blog.samaltman.com/how-to-be-successful 总结一下文章的重点: 1. Compound yourself2 ...
- Dom4j解析
dom4j-1.6.1.jar, 这个包提供了xml解析相关的方法. 这里做一个记录,微信公众号里需要对HttpServletRequest做解析,实际上也可以用dom4j提供的方法进行解析转换. 这 ...
- Django--CRM--一级, 二级 菜单表
一. 一级菜单表 1. 首先要修改权限表的字段, 在权限表下面加上icon和 is_menu 的字段 2. 展示结果 # 我们既然想要动态生成一级菜单,那么就需要从数据库中拿出当前登录的用户的菜单表是 ...
- APIDOC的使用
工具名称:APIDOCGit地址:https://github.com/apidoc/apidoc 项目地址:http://apidocjs.com/ 样例项目:http://apidocjs.com ...