逻辑回归 之 Logist 推导
Logist从概率角度认识
可以咱学校教材大二版的<> - 山大版, 来整一波, 为了简化推导形式呢, 这里就假设2个样本空间的形式来展开, 基于(条件概率) 全概率与贝叶斯 作为核心.
栗子: 全概率与贝叶斯
举个我们学校概率论教材的栗子, 这里就不展开概念说明, 自行百度吧, 这只想通过栗子直观感受一波.
设某厂有甲, 乙,丙 三个车间都生产 A 产品. 已知(先验概率):
各车间产量分别占全厂的 25%, 35%, 40%,
且各车间的次品率分别为 5%, 4%, 2%.
需求1: 现随机抽取一个样本, 则它是次品的概率有多大?
求解如下:
设A1, A2, A3 分别表示 "产品分别由甲, 乙, 丙 车间生产", B 表示 "产品为次品"
显然 A1, A2, A3 构成完备事件组 (就是一个样本空间), 且可得到:
P(A1) = 25%, P(B|A1) = 5%
P(A2) = 35%, P(B|A2) = 4%
P(A3) = 40%, P(B|A3) = 2%
要求P(B) 的(全) 概率, 其分散于, A, B, C 发生下, B的概率之和,即:
\(P(B) = P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)\)
\(= \sum \limits _{i=1}^3 P(A_i)P(B|A_i) = 0.0345\)
需求2: 现任意取一件, 已知是次品, 求是哪个车间生产的概率最大?
反推哦, 其实就是求 P(A1 |B), P(A2|B), P(A3|B)
\(P(A1|B) = \frac {P(A)P(B|A1)}{P(B)} = \frac {25\% * 5\%}{0.0345} = 0.362\)
\(P(A2|B) = \frac {P(A2)P(B|A2)}{P(B)} = \frac {35\% * 4\%}{0.0345} = 0.406\)
\(P(A3|B) = \frac {P(A3)P(B|A3)}{P(B)} = \frac {40\% * 2\%}{0.0345} = 0.232\)
因此, B 的发生, 来自 \(P(A1|B)\) 即乙厂的可能最大.
这其中呢, 其实在不知不觉中用到了贝叶斯公式:
设A1,A2,A3..构成完备事件组, 则对任意一事件B有:
\(P(A_i|B) = \frac {P(A_i)P(B|A_i)}{\sum \limits _{i=1}^n P(A_i)P(B|A_i)}\)
分母是 全概率, 分子是 "分量"
logist 函数推导
假设样本空间 s1, s2, 现已知(样本) 事件 x 发生. (但不知道是基于 s1 还是 s2)
请问: 当 X 事件已经发生下, 是基于 是基于 s1 的概率有多大?
即求 P(s1|x)
这就是一个经典的条件概率问题.
先求 P(x) 的全概率:
\(P(x) = P(s1)P(x|s1) + P(s2)P(x|s2) \ (1)\)
目标( 根据贝叶斯定理:)
\(P(s1|x) = \frac {P(s1)P(x|s1)}{P(x)} \ (2)\)
$ P(s1|x) = \frac {P(s1)P(x|s1)} {P(s1)P(x|s1) + P(s2)P(x|s2) } (3)$
分子, 分母同时 除以 分子得:
\(P(s1|x) = \frac {1} {\frac {P(s1)P(x|s1)} {P(s1)P(x|s1)} + \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } = \frac {1} {1+ \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } \ (4)\)
令 \(y = ln [ \frac {P(s1)P(x|s1)}{P(s2)P(x|s2)}]\) 回代到 (4):
即得出: \(P(s1|x) = \frac {1}{1+e^y}\)
对数运算性质:
\(-y = ln [ \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)}]\)
logistic 函数性质
也可以叫做, sigmoid 函数, 一样的. 画出来的话是一个 "s" 形状的曲线.
\(f(x) = \frac {1}{1+e^{-x}}\)
- 值域是在 [0, 1] 的连续可导的增函数
- x = 0 处, y = 0
- x \(\rightarrow -\infty\), y -> 0
- x \(\rightarrow + \infty\) y -> 1
刻画概率的累计分布, 如果从概率视角来认识的话.
\(P(y=1|x) = \frac {1}{1+e^{-x}}\)
输入一个 x (可以是标量, 向量), 输出一个 [0,1] 的值 的时候, y=1 的 概率是多少. 这里y一共有两种情况 y = 1或 y=0. 这不就是一个二分类问题吗
结合线性模型:
\(P(y=1|x) = \frac {1}{1+e^{-x}} = \frac {1}{1+e^{-\theta^T x}}\)
于是, 这样就很清晰认识到, 逻辑回归, 看着像回归, 线性模型嘛, 其实是二分类.
下篇就整一波如何构造目标函数来求解参数向量 \(\theta\)
逻辑回归 之 Logist 推导的更多相关文章
- 逻辑回归原理,推导,sklearn应用
目录 逻辑回归原理,推导,及sklearn中的使用 1 从线性回归过渡到逻辑回归 2 逻辑回归的损失函数 2.1 逻辑回归损失函数的推导 2.2 梯度下降法 2.3 正则化 3 用逻辑回归进行多分类 ...
- 逻辑回归(Logistic Regression)推导
出自BYRans博客:http://www.cnblogs.com/BYRans/ 本文主要讲解分类问题中的逻辑回归.逻辑回归是一个二分类问题. 二分类问题 二分类问题是指预测的y值只有两个取值(0或 ...
- 逻辑回归原理_挑战者飞船事故和乳腺癌案例_Python和R_信用评分卡(AAA推荐)
sklearn实战-乳腺癌细胞数据挖掘(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005269003&a ...
- 逻辑回归 Logistic Regression
逻辑回归(Logistic Regression)是广义线性回归的一种.逻辑回归是用来做分类任务的常用算法.分类任务的目标是找一个函数,把观测值匹配到相关的类和标签上.比如一个人有没有病,又因为噪声的 ...
- 逻辑回归(LR)总结复习
摘要: 1.算法概述 2.算法推导 3.算法特性及优缺点 4.注意事项 5.实现和具体例子 6.适用场合 内容: 1.算法概述 最基本的LR分类器适合于对两分类(类0,类1)目标进行分类:这个模型以样 ...
- 逻辑回归LR
逻辑回归算法相信很多人都很熟悉,也算是我比较熟悉的算法之一了,毕业论文当时的项目就是用的这个算法.这个算法可能不想随机森林.SVM.神经网络.GBDT等分类算法那么复杂那么高深的样子,可是绝对不能小看 ...
- 逻辑回归(Logistic Regression)
转载请注明出自BYRans博客:http://www.cnblogs.com/BYRans/ 本文主要讲解分类问题中的逻辑回归.逻辑回归是一个二分类问题. 二分类问题 二分类问题是指预测的y值只有两个 ...
- 感知器、逻辑回归和SVM的求解
这篇文章将介绍感知器.逻辑回归的求解和SVM的部分求解,包含部分的证明.本文章涉及的一些基础知识,已经在<梯度下降.牛顿法和拉格朗日对偶性>中指出,而这里要解决的问题,来自<从感知器 ...
- DeepLearning之路(一)逻辑回归
逻辑回归 1. 总述 逻辑回归来源于回归分析,用来解决分类问题,即预测值变为较少数量的离散值. 2. 基本概念 回归分析(Regression Analysis):存在一堆观测资料,希望获得数据内 ...
随机推荐
- vue大文件上传控件选哪个好?
需求: 项目要支持大文件上传功能,经过讨论,初步将文件上传大小控制在20G内,因此自己需要在项目中进行文件上传部分的调整和配置,自己将大小都以20G来进行限制. PC端全平台支持,要求支持Window ...
- 网络协议 12 - HTTP 协议
日常开发中,我们经常会碰到查询网络是否畅通以及域名对应 IP 地址等小需求,这时候用的最多的应该就是 ping 命令了. 那你知道 ping 命令是怎么工作的吗?今天,我们就来一起认识下 ping 命 ...
- PATB1024科学计数法
代码是部分正确,只得了13分还有两个测试点没有通过,不知道原因是啥,先不深究了,赶进度. 参考代码: #include<cstdio> #include<cstring> #i ...
- spark基础知识三
主要围绕spark的底层核心抽象RDD和原理进行理解.主要包括以下几个方面 RDD弹性分布式数据集的依赖关系 RDD弹性分布式数据集的lineage血统机制 RDD弹性分布式数据集的缓存机制 spar ...
- Vue响应式原理以及注意事项
响应基于 set 和 get(Object.defineProperty) 类型: 单向绑定 双向绑定 简单例子(基于Object.defineProperty) <!DOCTYPE html& ...
- 不刷新网页修改url链接:history.pushState()和history.replaceState()新增、修改历史记录用法介绍
最近遇到了在不刷新页面的情况下修改浏览器url链接的需求,考虑到可以通过history.pushState()解决.现在将我理解的一些内容分享一下,不对的地方欢迎大家指出. 在使用方法前首先需要了解它 ...
- vue+Element 表格编辑
先上效果 <template> <div> <el-table :data="tableData" style="width: 100%&q ...
- bzoj2839 集合计数 组合计数 容斥原理|题解
集合计数 题目描述 一个有N个元素的集合有2^N个不同子集(包含空集),现在要在这2^N个集合中取出若干集合(至少一个),使得它们的交集的元素个数为K,求取法的方案数,答案模1000000007.(是 ...
- IDEA Gradle配置与使用
1.安装Gradle,并添加环境变量. https://www.cnblogs.com/NyanKoSenSei/p/11458953.html 2.在IDEA中设置Gradle: 3.选中项目中的. ...
- [BUAA软工]团队贡献分博客
Gamma阶段贡献分 Beta阶段贡献分 Alpha阶段贡献分 (博客最后部分) 复制过来: Alpha阶段 名字 角色 具体的可衡量的可验证的贡献 zpj PM,后端开发 博客X3 65 commi ...