0. 说明 条件概率 & 全概率公式 & 朴素贝叶斯公式 学习笔记 参考 scikit-learn机器学习(五)--条件概率,全概率和贝叶斯定理及python实现 1. 条件概率 [定义] 已知 事件A 发生的条件下,另一个 事件B 发生的概率成为条件概率,即为 P(B|A) 如图 A∩B 那一部分的发生的概率即为 P(AB) P(AB) = 发生A的概率 * 发生A之后发生B的概率 = 发生B的概率 * 发生B之后发生A的概率 即: P(AB) = P(A) * P(B|A) = P(B…
条件概率,全概率公式,贝叶斯公式 条件概率:在另外一个事件 B 已经发生的条件下,事件 A 发生的概率叫做在 A 对于 B 的条件概率,记作 \(p(A|B)\).显然\(p(AB)=p(A|B)p(B)\).于是有:\(p(A|B)=\frac{p(AB)}{p(B)}\). 独立事件:若事件 B 是否发生对事件 A 的概率没有影响,即\(p(A|B)=p(A)\),则称事件 A, B 相互独立 (为独立事件).将前面那个式子代入,可以发现若两个事件A和B独立,则\(p(AB)=p(A)p(B…
<统计学习方法>极简笔记P4:朴素贝叶斯公式推导 朴素贝叶斯基本方法 通过训练数据集 T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)} 学习联合概率分布P(X,Y),即学习先验概率分布 P(Y=c_k) 条件概率分布$P(X=x|Y=c_k)$ $k=1,2,...,K$ 假设条件独立 $P(X=x|Y=c_k)=\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$ 然后根据学习到的模型计算后验概率分布,根据贝叶斯定理 $…
设有事件A.B. 下面结合具体的题目进一步理解这种方法: Q1:保险公司认为人可以分为两类,一类易出事故,另一类则不易出事故.统计表明,一个易出事故者在一年内发生事故的概率是0.4,而对不易出事故者来说,这个概率可以减小到0.2,若假定第一类人占人口比例的30%,现有一个新人来投保,那么该人在一年内出事故的概率有多大? 分析:这里我们要求解该人出事故的概率,那么设事件A是该人出事故.而对于事件B,我们当前有三种选择: (1)    该人是易出事故为事件B1. (2)    该人不是易出事故为事件…
朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法.对于大多数的分类算法,在所有的机器学习分类算法中,朴素贝叶斯和其他绝大多数的分类算法都不同.比如决策树,KNN,逻辑回归,支持向量机等,他们都是判别方法,也就是直接学习出特征输出Y和特征X之间的关系,要么是决策函数,要么是条件分布.但是朴素贝叶斯却是生成方法,该算法原理简单,也易于实现. 1,基本概念 朴素贝叶斯:贝叶斯分类时一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.而朴素贝叶斯分类时贝叶斯分类中…
title: [概率论]3-7:多变量分布(Multivariate Distributions Part II) categories: Mathematic Probability keywords: Conditional Distributions 条件分布 Bayes' Theorem 贝叶斯理论 Histograms 直方图 Law of total Probability 全概率公式 toc: true date: 2018-03-15 09:20:38 Abstract: 本文继…
title: [概率论]3-6:条件分布(Conditional Distributions Part I) categories: Mathematic Probability keywords: Discrete Conditional Distributions 离散条件分布 Continuous Conditional Distributions 连续条件分布 toc: true date: 2018-03-08 10:38:13 Abstract: 首先介绍随机变量的条件分布,随后介绍…
目录 先验概率与后验概率 条件概率公式.全概率公式.贝叶斯公式 什么是朴素贝叶斯(Naive Bayes) 拉普拉斯平滑(Laplace Smoothing) 应用:遇到连续变量怎么办?(多项式分布,高斯分布) Python代码(sklearn库) 先验概率与后验概率 引例 想象有 A.B.C 三个不透明的碗倒扣在桌面上,已知其中有(且仅有)一个瓷碗下面盖住一个鸡蛋.此时请问,鸡蛋在 A 碗下面的概率是多少?答曰 1/3. 现在发生一件事:有人揭开了 C 碗,发现 C 碗下面没有蛋.此时再问:鸡…
注:这是一个横跨数年的任务,标题也可以叫做“从To Do List上划掉学习统计学”.在几年前为p值而苦恼的时候,还不知道Python是什么:后来接触过Python,就喜欢上了这门语言.统计作为数据科学的基础,想要从事这方面的工作,这始终是一个绕不过去的槛. 其实从中学就开始学习统计学了,最早的写"正"字唱票(相当于寻找众数),就是一种统计分析的过程.还有画直方图,求平均值,找中位数等.自己在学校里并没有完整系统的学习过概率论和数理统计,直到在工作中用到,才从最初的印象中,逐渐把这门学…
基本概念 样本空间: 随机试验E的所有可能结果组成的集合, 为E的样本空间, 记为S 随机事件: E的样本空间S的子集为E的随机事件, 简称事件, 由一个样本点组成的单点集, 称为基本事件 对立事件/逆事件: 若A并B=S, 且A交B=空, 则称A与B互为逆事件, A与B互为对立事件. A上面加一横即A的逆事件 频率: 在相同的条件下进行了n次试验, 事件A发生的次数为A的频数, 与n的比值成为A的频率 概率: 设E为随机试验, S是E的样本空间, 对于E的每一个事件A赋予一个实数, 记为P(A…