Lift图衡量的是,与不利用模型相比,模型的预测能力“变好”了多少,lift(提升指数)越大,模型的运行效果越好. TP:划一个阈值后的正样本. P:总体的正样本. 在模型评估中,我们常用到增益/提升(Gain/Lift)图来评估模型效果,其中的Lift是“运用该模型”和“未运用该模型”所得结果的比值.以信用评分卡模型的评分结果为例,我们通常会将打分后的样本按分数从低到高排序,取10或20等分(有同分数对应多条观测的情况,所以各组观测数未必完全相等),并对组内观测数与坏样本数进行统计. 第一行l…

sklearn实战-乳腺癌细胞数据挖掘 https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 医药统计项目可联系  QQ:231469242 洛伦兹曲线(Lorenz curve)也叫提升图或收益曲线 提升图主要通过随机选择比较模型表现. 绿色曲线比黄色曲线更加不平…

1. 混淆矩阵 确定截断点后,评价学习器性能 假设训练之初以及预测后,一个样本是正例还是反例是已经确定的,这个时候,样本应该有两个类别值,一个是真实的0/1,一个是预测的0/1 TP(实际为正预测为正),FP(实际为负但预测为正),TN(实际为负预测为负),FN(实际为正但预测为负) 通过混淆矩阵我们可以给出各指标的值:查全率(召回率,recall):样本中的正例有多少被预测准确了,衡量的是查全率,预测对的正例数占真正的正例数的比率: 查全率＝检索出的相关信息量 / 系统中的相关信息总量 = T…

数据说明 本数据是一份汽车贷款违约数据 application_id    申请者ID account_number 账户号 bad_ind            是否违约 vehicle_year      汽车购买时间 vehicle_make     汽车制造商 bankruptcy_ind 曾经破产标识 tot_derog           五年内信用不良事件数量(比如手机欠费消号) tot_tr                  全体账户数量 age_oldest_tr     最久…

关于分类算法我们之前也讨论过了KNN.决策树.naivebayes.SVM.ANN.logistic回归.关于这么多的分类算法,我们自然需要考虑谁的表现更加的优秀. 既然要对分类算法进行评价,那么我们自然得有评价依据.到目前为止,我们讨论分类的有效性都是基于分类成功率来说的,但是这个指标科学吗?我们不妨考虑这么一个事实:一个样本集合里有95个正例,5个反例,分类器C1利用似然的思想将所有的实例均分成正例,分类成功率为95%:分类器C2成功分出了80个正例,3个反例,分类成功率仅83%.我们可以说…

  欢迎关注博主主页,学习python视频资源 sklearn实战-乳腺癌细胞数据挖掘(博主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 统计项目联系QQ:231469242 用条件概率理解混合矩阵容易得多 sensitivity:真阳性…

Apriori algorithm是关联规则里一项基本算法.是由Rakesh Agrawal和Ramakrishnan Srikant两位博士在1994年提出的关联规则挖掘算法.关联规则的目的就是在一个数据集中找出项与项之间的关系,也被称为购物蓝分析 (Market Basket analysis),因为"购物蓝分析"很贴切的表达了适用该算法情景中的一个子集. 关于这个算法有一个非常有名的故事:"尿布和啤酒".故事是这样的:美国的妇女们经常会嘱咐她们的丈夫下班后为孩…

SAS数据挖掘实战篇[五] SAS--预测模型 6.1 测模型介绍 预测型(Prediction)是指由历史的和当前的数据产生的并能推测未来数据趋势的知识.这类知识可以被认为是以时 间为关键属性的关联知识,可以应用到以时间为关键属性的源数据挖掘中.从预测的主要功能上看,主要是对未来 数据的概念分类和趋势输出.统计学中的回归方法等可以通过历史数据直接产生对未来数据预测的连续值.因而这 些预测型知识己经蕴藏在诸如趋势曲线等输出形式中.常见的预测模型主要有逻辑回归.决策树和神经网络. 1 逻辑回归模型…

Microsoft神经网络是迄今为止最强大.最复杂的算法.要想知道它有多复杂,请看SQL Server联机丛书对该算法的说明:“这个算法通过建立多层感知神经元网络,建立分类和回归挖掘模型.与Microsoft决策树算法类似,在给定了可预测属性的每个状态时, Microsoft神经网络算法计算输入属性每个可能状态的概率.然后可以用这些概率根据输入属性预测被预测属性的输出.”什么时候用这个算法呢?推荐在其他算法无法得出有意义的结果时再用,如提升图输出的结果.我们经常把Microsoft神经网络作为“…

准确性验证示例1:——基于三国志11数据库 数据准备: 挖掘模型:依次为:Naive Bayes 算法.聚类分析算法.决策树算法.神经网络算法.逻辑回归算法.关联算法提升图: 依次排名为: 1. 神经网络算法(92.69% 0.99)2. 逻辑回归算法(92.39% 0.99)3. 决策树算法(91.19% 0.98)4. 关联算法(90.60% 0.98)5. 聚类分析算法(89.25% 0.96)6. Naive Bayes 算法(87.61 0.96) Naive Bayes算法——分类矩…

Graph Cut and Its Application in Computer Vision 原文出处: http://lincccc.blogspot.tw/2011/04/graph-cut-and-its-application-in.html 现在好像需要代理才能访问了... 网络流算法最初用于解决流网络的优化问题,比如水管网络.通信传输和城市的车流等.Graph cut作为其中一类最常见的算法,用于求解流网络的最小割,即寻找一个总容量最小的边集合,去掉这个集合中的所有边将阻断这个网…

python机器学习-sklearn挖掘乳腺癌细胞( 博主亲自录制) 网易云观看地址 https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share  模型验证 分类器好坏验证,模型建立好后,不是万事大吉,需要进行crossvalidation, AUC,GINi,KS,Ga…

生成对抗网络(GAN),是深度学习模型之一,2014年lan Goodfellow的开篇之作Generative Adversarial Network, GAN概述 GAN包括两个模型,一个是生成模型(generative model),一个是判别模型(discriminative model).生成模型要做的事情就是生成看起来真的和原始数据相似的实例,判断模型就是判断给定的实例是生成的还是真实的(真实实例来源于数据集,伪造实例来源于生成模型). 生成器试图欺骗判别器,判别器则努力不被生成器欺…

下面使用Adventure Works数据库中的Target Mail作例子,通过建立分类树和神经网络模型,决策树用来预测哪些人会响应促销,神经网络用来预测年收入. Target Mail数据在SQL Server样本数据库AdventureWorksDW中的dbo.vTargetMail视图,关于Target Mail详见: http://technet.microsoft.com/zh-cn/library/ms124623.aspx#DataMining 或者我之前的随笔: http://…

目录 一:学习机器学习原因和能够解决的问题 二:为什么选择python作为机器学习的语言 三:机器学习常用库简介 四:机器学习流程   机器学习是一门多领域交叉学科,涉及概率论.统计学.逼近论.凸分析.算法复杂度理论等多门学科.专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能.从数据中提取知识,也被称为预测分析 或 统计学习.   它是人工智能的核心,是使计算机具有智能的根本途径.   下面就让我们先了解一下机器学习吧. 一:学习机器…

SAS数据挖掘实战篇[二] 从SAS数据挖掘实战篇[一]介绍完目前的数据挖掘基本概念之外,对整个数据挖掘的概念和应用有初步的认识和宏观的把握之后,我们来了解一下SAS数据挖掘实战篇[二]SAS工具的应用.首先来看一下SAS大概的一个软件界面.(这里面实际操作性较强,建议都打开软件,step by step自己操作一遍,印象深刻)操作流程如下:   1 认识 SAS Enterprise Miner 1启动SAS EM 方式1:首先打开SAS,然后在SAS命令栏输入miner,回车即可:   方式…

SAS数据挖掘实战篇[七] 6.5  SAS EM数据挖掘-----预测模型 1  问题定义 目标:建立模型预测贷款申请的信用状态,选择最优的模型来预测和减少损失. 数据集:SAMPSIO.DMAGECR 数据集大小:1000 变量数目:21(20个输入变量,1个目标变量) 变量描述   该损失矩阵将产生和第一个损失矩阵相似的决策,但是第二个矩阵产生的统计描述更加容易理解. 先验概率 在训练数据集中, 未预测数据:SAMPSIO.DMAGESCR 数据集大小:75(没有GOOD_BAD变量)  …

作者从detector的overfitting at training/quality mismatch at inference问题入手,提出了基于multi-stage的Cascade R-CNN,该网络结构清晰,效果显著,并且能简单移植到其它detector中,带来2-4%的性能提升 论文: Cascade R-CNN: Delving into High Quality Object Detection 论文地址: https://arxiv.org/abs/1712.00726 代码地…

  标识符语法 1)java中定义标识符格式以字母,数字,下划线,$符合组成,不能以数字开头,且不能为  java中的关键字.         2)标识符意义要明确,不要乱起         3)标识符区分大小写例如 z和Z是不同的两个标识符 4)java常用关键字 Java中的关键字 abstract assert boolean break byte case catch char class continue const default do double else extends enu…

BPF for storage:一种受外核启发的反式 译自:BPF for storage: an exokernel-inspired approach BPF主要用于报文处理,通过绕过网络栈提高报文的处理速度.本文则用于通过绕过存储栈(文件系统.BIO等层)来提高存储的读写效率,但在实现过程中也遇到了相应的挑战,如文件和块的映射关系,多进程共享存储块以及进程间的QoS等. 概要 内核存储路径开销占新式NVMe存储设备访问延迟的一半.本文中我们将探究使用BPF在内核的I/O处理栈中注入用户定自…

单目摄像头检测6D姿态 CVPR2019: ROI-10D: Monocular Lifting of 2D Detection to 6D Pose and Metric Shape 论文链接: https://arxiv.org/pdf/1812.02781.pdf 摘要 本文提出了一种端到端单目三维目标检测和度量形状检索的深度学习方法,将二维检测.定位和尺度估计提升到三维空间,提出了一种新的损失公式.三维实例化不需要单独优化这些数量,而是允许正确测量框的度量偏差.实验表明,本文提出的稀疏二…

Redis中的多路复用模型 Redis6用到了多线程?那多线程应用在哪些地方,引入多线程后,又改如何保证线程安全性呢? 同时,如何在性能和线程安全性方面做好平衡? 关于Redis的单线程模型 在Redis6.0之前,我们一直说Redis是单线程,所以并不会存在线程安全问题,而这个单线程,实际上就是在做数据IO处理中,是用的主线程来串行执行,如图4-7所示. Redis基于Reactor模式设计开发了自己的一套高效事件处理模型,这个事件处理模型对应的就是Redis中的文件事件处理器,这个文件事件处…

https://www.cnblogs.com/hellcat/p/9084894.html 目录 一.符号式编程 1.命令式编程和符号式编程 2.MXNet的符号式编程 二.惰性计算 用同步函数实际计算出结果 三.自动并行 回到顶部 一.符号式编程 1.命令式编程和符号式编程 命令式: 1 2 3 4 5 6 7 8 9 10 def add(a, b):     return a + b   def fancy_func(a, b, c, d):     e = add(a, b)     …

一.cover的使用 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <style> div{ width: 100%; height: 360px; background-color: #ccc; background-image: url("../im…

阿里大神毕玄整理的关于进阶JAVA的学习体系,知道下...…

每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 本笔记源于CDA-DSC课程,由常国珍老师主讲.该训练营第一期为风控主题,培训内容十分紧凑,非常好,推荐:CDA数据科学家训练营 ------------------------------------------ 一.风控建模流程以及分类模型建设 1.建模流程 该图源自课程讲义.主要将建模过程分为了五类.数据准备.变量粗筛.变量清洗.变量细筛…

python信用评分卡建模(附代码,博主录制) https://study.163.com/course/introduction.htm?courseId=1005214003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share —————————————————————————————————————————— 一.风控建模流程以及分类模型建设 1.建模流程 该图源自课程讲义.主要将建模过…

前段时间在做用户画像的时候,遇到了这样的一个问题,记录某一个商品的用户购买群,刚好这种需求就可以用到Redis中的Set,key作为productID,value 就是具体的customerid集合,后续的话,我就可以通过productid来查看该customerid是否买了此商品,如果购买了,就可以有相关的关联推荐,当然这只是系统中 的一个小业务条件,这时候我就可以用到SADD操作方法,代码如下: static void Main(string[] args) { ConnectionMult…

在上一篇<为什么房间的 Wi-Fi 信号这么差>中,猫哥从微波炉.相对论.人存原理出发,介绍了影响 Wi-Fi 信号强弱的几大因素,接下来猫哥再给大家介绍几种不用升级带宽套餐也能提升网速的路由器优化方法. 防蹭网 开启 UPnP QoS 与网络限速 设置正确的 MTU 值 使用路由器交换机模式 使用无线中继扩展 Wi-Fi 信号 1.防蹭网 这是最最首要的一条:确认没有陌生人在蹭网! 被蹭网意味着你的 Wi-Fi 密码被泄露(看看是不是不小心用万能钥匙把自家 Wi-Fi 共享出去了?),或者你…

CSharpGL(28)得到高精度可定制字形贴图的极简方法 回顾 以前我用SharpFont实现了解析TTF文件从而获取字形贴图的功能,并最终实现了用OpenGL渲染文字. 使用SharpFont,美中不足的是: SharpFont太大了,有上千行代码,且逻辑复杂难懂. SharpFont画出的字形精度有限,虽然也很高,但是确实有限.用OpenGL渲染出来后会发现边缘不是特别清晰. SharpFont对加粗.斜体.下划线.删除线如何支持,能否支持?完全不知道. Graphics+Font 最近我…