每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 笔者寄语:异常值处理一般分为以下几个步骤:异常值检测.异常值筛选.异常值处理. 其中异常值检测的方法主要有:箱型图.简单统计量(比如观察极值) 异常值处理方法主要有:删除法.插补法.替换法. 提到异常值不得不说一个词:鲁棒性.就是不受异常值影响,一般是鲁棒性高的数据,比较优质. 一.异常值检验 异常值大概包括缺失值.离群值.重复值,数据不一致.

在数据挖掘的过程中,数据预处理占到了整个过程的60% 脏数据:指一般不符合要求,以及不能直接进行相应分析的数据 脏数据包括:缺失值.异常值.不一致的值.重复数据及含有特殊符号(如#.¥.*)的数据 数据清洗:删除原始数据集中的无关数据.重复数据.平滑噪声数据.处理缺失值.异常值等 缺失值处理:删除记录.数据插补和不处理 主要用到VIM和mice包 install.packages(c("VIM","mice")) 1.处理缺失值的步骤 步骤: (1)识别缺失数据:

python风控评分卡建模和风控常识(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005214003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share   结论 结论只属于教学数据,每个场景不一样,结论不一样,仅供参考 年龄45岁以上属于离群值,有欺诈嫌疑,建议不考虑放贷,可根据其他情况综合判定15

1.t-test的功能:单因素二水平的假设检验. H0:与我们想过要的结果相反的假设,比如我们想要的是两组数据的差异性,那么这个假设是:两组数据没有差异性. H1或Ha:备择假设,与H0假设相反. 2.t-test的前提:正态性和方差齐性 3.R中的t-test的使用. t.test(x, y = NULL,alternative = c("two.sided", "less", "greater"),mu = 0, paired = FALSE

 机器学习_深度学习_入门经典(博主永久免费教学视频系列) https://study.163.com/course/courseMain.htm?courseId=1006390023&share=2&shareId=400000000398149 微信扫二维码,免费学习更多python资源 转载https://www.jianshu.com/p/bdcf0407979a 统计概率思维-描述统计分析 1# 为什么要学统计学? 人工智能的基础知识 投资领域的必备知识 时代的入口 2# 描述

python信用评分卡建模(附代码,博主录制) https://study.163.com/course/introduction.htm?courseId=1005214003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 测试数据结果:用非B4数据 肉毒素-横力 申请金额 是市场价格 平均倍数 4.4 最高16.666 最低0.433 B4状态5.14倍 最高16.666 最低0.4

python机器学习-乳腺癌细胞挖掘(博主亲自录制视频) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share python信用评分卡建模(附代码,博主录制) https://study.163.com/course/introduction.htm?courseI

每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 笔者寄语:缺失值是数据清洗过程中非常重要的问题(其他方法可见:R语言︱异常值检验.离群点分析.异常值处理),笔者在进行mice包的多重插补过程中遇到相当多的问题. 大致的步骤简介如下: 缺失数据集--MCMC估计插补成几个数据集--每个数据集进行插补建模(glm.lm模型)--将这些模型整合到一起(pool)--评价插补模型优劣(模型系数的t统

    笔者寄语:一般情况下离群值不应该直接删除,应该进行筛选,然后进行专门的离群值分析.笔者在这进行一下思考,在聚类基础之上的一种离群点检验. 基于聚类的离群点检测的步骤如下:数据标准化--聚类--求每一类每一指标的均值点--每一类每一指标生成一个矩阵--计算欧式距离--画图判断. 1.数据聚类 利用RFM客户价值模型,进行SOM(自组织映射神经网络模型),可以参考笔者的博客.一般的聚类方式,比如K-mean均值是比较常用的聚类方法(可见笔者的其他博客--R语言︱异常值检验.离群点分析.异常值

OneClassSVM两个功能:异常值检测.解决极度不平衡数据 因为之前一直在做非平衡样本分类的问题,其中如果有一类比例严重失调,就可以直接用这个方式来做:OneClassSVM:OneClassSVM还有一个功能就是异常值检测. 其他我的相关博客: 1.机器学习︱非平衡数据处理方式与评估 2.RFM模型+SOM聚类︱离群值筛选问题 3.R语言︱异常值检验.离群点分析.异常值处理 台湾大学林智仁所设计和实现的库LibSVM(地址:http://www.csie.ntu.edu.tw/~cjlin

转载自:http://blog.fens.me/r-linear-regression/ 前言 在我们的日常生活中,存在大量的具有相关性的事件,比如大气压和海拔高度,海拔越高大气压强越小:人的身高和体重,普遍来看越高的人体重也越重.还有一些可能存在相关性的事件,比如知识水平越高的人,收入水平越高:市场化的国家经济越好,则货币越强势,反而全球经济危机,黄金等避险资产越走强. 如果我们要研究这些事件,找到不同变量之间的关系,我们就会用到回归分析.一元线性回归分析是处理两个变量之间关系的最简单模型,是

异常值检测 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到程序: 1. LX终端(LXTerminal): Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令2. GVim:非常好用的编辑器,最简单的用法可以参考课程[Vim编辑器](http://www.shiyanlou.com/courses/2)3. R:在命令行输入‘R’进入交互式环

R中的线性回归函数比较简单,就是lm(),比较复杂的是对线性模型的诊断和调整.这里结合Statistical Learning和杜克大学的Data Analysis and Statistical Inference的章节以及<R语言实战>的OLS(Ordinary Least Square)回归模型章节来总结一下,诊断多元线性回归模型的操作分析步骤.   1.选择预测变量   因变量比较容易确定,多元回归模型中难在自变量的选择.自变量选择主要可分为向前选择(逐次加使RSS最小的自变量),向后

 机器学习_深度学习_入门经典(博主永久免费教学视频系列) https://study.163.com/course/courseMain.htm?courseId=1006390023&share=2&shareId=400000000398149 微信扫二维码,免费学习更多python资源 数据预处理的好坏,很大程度上决定了模型分析结果的好坏.(Garbage In Garbage Out!) 其中,异常值(outliers)检测是整个数据预处理过程中,十分重要的一环.方法也是多种多样

SAS信用评分之番外篇异常值的识别 今天想分享给大家的是我早期建模的时候一个识别异常值的办法,也许你在"信用风险评分卡研究"看过,但是代码只能识别一个变量,我将这个代码作了改良,但是我在这里必须声明一点,就是假设你身处的公司数据并不多的话,我不建议你使用这个代码,因为我是简单粗暴的将异常值直接剔除了. 就因为我的数据不多,所以我之前在做建模的时候使用的是先等量分组再最优分段的方式来使变量不用识别异常值,说道这里,我又需要跟大家提醒一下就是关于最优分段的代码,说有过拟合的现象.这里跟大家

   Linear Regression 此博文是 An Introduction to Statistical Learning with Applications in R 的系列读书笔记,作为本人的一份学习总结,也希望和朋友们进行交流学习. 该书是The Elements of Statistical Learning 的R语言简明版,包含了对算法的简明介绍以及其R实现,最让我感兴趣的是算法的R语言实现. [转载时请注明来源]:http://www.cnblogs.com/runner-l

线性回归诊断--R [转载时请注明来源]:http://www.cnblogs.com/runner-ljt/ Ljt   勿忘初心  无畏未来 作为一个初学者,水平有限,欢迎交流指正. R--线性回归诊断(一)  主要介绍了线性回归诊断的主要内容和基本方法. 本文作为R中线性回归诊断的进一步延伸,将主要介绍用car包中的相关函数就行线性回归诊断. > > head(bank) y x1 x2 x3 x4 1 1018.4 96259 2239.1 50760 1132.3 2 1258.9

SPSS超详细操作:分层回归(hierarchical multiple regression) 1.问题与数据 最大携氧能力(maximal aerobic capacity, VO2max)是评价人体健康的关键指标,但因测量方法复杂,不易实现.某研究者拟通过一些方便.易得的指标建立受试者最大携氧能力的预测模型. 目前,该研究者已知受试者的年龄和性别与最大携氧能力有关,但这种关联强度并不足以进行回归模型的预测.因此,该研究者拟逐个增加体重(第3个变量)和心率(第4个变量)两个变量,并判断是否可

工作中经常会处理一些因特殊字符而导致的错误,如上周我就遇到了因为换行符和回车符导致的数据上报的错误,这种错误比较难以发现,通常是由于用户的输入习惯导致的,有可能数据极少,就那么几行错误从而导致整个数据上报失败.处理这种错误可以通过应用端对数据进行过滤.处理,但最简单方便的方法就是通过SQL语句在数据库源端直接处理掉,把特殊字符替换掉等处理,利用replace函数结合CHR()函数或ASCII()函数替换掉特殊字符. CHR()函数:将ASCII码转换为字符 ASCII()函数:将字符转换为ASC

四格表(2*2的列联表): Tmin为最小的频数:N为频数之和. 1 当 Tmin≥5,N≥40时, 用普通卡方检验公式;2 当1≦Tmin≦5, N≥40时, 用校正卡方检验公式;3 Tmin<1或N<40时, 用Fisher精确概率法. 对于行×列表资料检验要求每个格子中的理论频数T均大于5或1<1或1 工具: R,Excel,SPSS,SAS REF: http://www.baike.com/wiki/%E5%88%97%E8%81%94%E8%A1%A8 http://blog