更多大数据分析.建模等内容请关注公众号<bigdatamodeling> 将代码封装在函数PlotKS_N里,Pred_Var是预测结果,可以是评分或概率形式:labels_Var是好坏标签,取值为1或0,1代表坏客户,0代表好客户:descending用于控制数据按违约概率降序排列,如果Pred_Var是评分,则descending=0,如果Pred_Var是概率形式,则descending=1:N表示在将数据按风险降序排列后,等分N份后计算KS值. PlotKS_N函数返回的结果为一列表,

转自:https://wenku.baidu.com/view/ccfa573a3968011ca30091d6.html https://www.cnblogs.com/arkenstone/p/5496761.html 1.定义 Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法.其原假设H0:两个数据分布一致或者数据符合理论分布.D=max| f(x)- g(x)|,当实际观测值D>D(n,α)则拒绝H0,否则则接受H0假设.KS检

假设检验的基本思想: 若对总体的某个假设是真实的,那么不利于或者不能支持这一假设的事件A在一次试验中是几乎不可能发生的.如果事件A真的发生了,则有理由怀疑这一假设的真实性,从而拒绝该假设. 实质分析: 假设检验实质上是对原假设是否正确进行检验,因此检验过程中要使原假设得到维护,使之不轻易被拒绝:否定原假设必须有充分的理由.同时,当原假设被接受时,也只能认为否定该假设的根据不充分,而不是认为它绝对正确. 1.检验指定的数列是否服从正态分布 借助假设检验的思想,利用K-S检验可以对数列的性质进行检验

Jarque-Bera test: 如何绘制pp图?   找该直线的截距和斜率,通过截距和斜率的值找到正态参数均值和方差,可对这些正态参数进行正态检验. K-S检验的的特点? 并不是只针对正态分布,是针对某一分布.在大样本时针对正态分布.  

应用统计学: s检验是检验否符合正态,而k-S检验是检验否符合一种分布. 已知分布便知道参数,知道参数不知道分布. 适应性检验 多项式分布的情况如下例: 二项分布是多项式分布一种情况,所以就是上式中只有两个概率 独立性检验:PAB=PAPB 其中,29.76由假设独立后比例算得. 格式: 是右尾检验,但是因为SPSS中只提供双尾检验所以显示如下图,但是还是可以从双尾的角度考虑: Person Chi-Square适用情况是N>40 person ei>1 Cintinuity correcti

应用统计学: 物理条件一致时,有理由认为方差是一致的.配对检验可排除物理影响,使方差变小,但是自由度降低了,即样本数变小.二项分布均值假设检验的模型要依据前面的假设条件: PP图统计图要看中间的贴近情况 即先通过直方图得到PP-plot,通过散点图拟合一个线性直线,找该直线的截距和斜率,通过截距和斜率的值找到正态参数均值和方差,可对这些正态参数进行正态检验. 小样本使用SW检验,大样本使用K-S检验.K-S检验可以做修正来减小样本偏差,修正具体是实际和理论概率累积量的max偏差值与零相比.  

假设检验的基本思想 若对总体的某个假设是真实的,那么不利于或者不能支持这一假设的事件A在一次试验中是几乎不可能发生的:如果事件A真的发生了,则有理由怀疑这一假设的真实性,从而拒绝该假设: 假设检验实质上是对原假设是否正确进行检验,因此检验过程中要使原假设得到维护,使之不轻易被拒绝:否定原假设必须有充分的理由.同时,当原假设被接受时,也只能认为否定该假设的根据不充分,而不是认为它绝对正确 ks 检验 ks 检验分为 单样本 和两样本 检验: 单样本检验 用于 检验 一个数据的观测分布 是否符合 某

本文首发于“生信补给站”:https://mp.weixin.qq.com/s/lpkWwrLNtkLH8QA75X5STw 生存分析作为分析疾病/癌症预后的出镜频率超高的分析手段,而其结果展示的KM曲线也必须拥有姓名和颜值! 生存分析相关推文: 生存分析和KM曲线:R|生存分析(1) 分析结果一键输出:R|生存分析-结果整理 时间依赖生存分析:R|timeROC-分析 一 数据和R包 为方便,使用内置lung数据集 #载入所需的R包library("survival")library

一开始用lattice包,感觉在多元数据的可视化方面,确实做得非常好.各种函数,可以实现任何想要实现的展示. barchart(y ~ x) y对x的直方图 bwplot(y ~ x) 盒形图 densityplot(~ x) 密度函数图 dotplot(y ~ x) Cleveland点图(逐行逐列累加图) histogram(~ x) x的频率直方图 qqmath(~ x) x的关于某理论分布的分位数-分位数图 stripplot(y ~ x) 一维图,x必须是数值型,y可以是因子 qq(y

绘图过程很简单:给定m个正例子,n个反例子,根据学习器预测结果进行排序,先把分类阈值设为最大,使得所有例子均预测为反例,此时TPR和FPR均为0,在(0,0)处标记一个点,再将分类阈值依次设为每个样例的预测值,即依次将每个例子划分为正例.设前一个坐标为(x,y),若当前为真正例,对应标记点为(x,y+1/m),若当前为假正例,则标记点为(x+1/n,y),然后依次连接各点. 下面举个绘图例子: 有10个样例子,m=5个正例子,n=5个反例子,分成两个随机排列AB对比. A:[反正正正反反正正反反

之前一直是用semPlot这个包给来进行结构方程模型的路径绘制,自从用了tidySEM这个包后就发现之前那个包不香了,今天就给大家分享一下tidySEM. 这个包的很大特点就是所有的画图原始都是存在数据框中的,这样以来我们就可以像编辑excel一样改变图中元素的位置,非常的个性化. 例子说明 画图之前我们需要有一个画图的对象fit,也就是你的拟合成功的SEM模型 第二步是要将这个对象的图中的可以编辑的节点通过get_nodes(fit)得到,或者通过get_edges(fit)得到可以编辑的边

正态检验与R语言 1.Kolmogorov–Smirnov test 统计学里, Kolmogorov–Smirnov 检验(亦称:K–S 检验)是用来检验数据是否符合某种分布的一种非参数检验,通过比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布来判断是否符合检验假设.其原假设H0:两个数据分布一致或者数据符合理论分布.拒绝域构造为:D=max| f(x)- g(x)|,当实际观测值D>D(n,α)则拒绝H0,否则则接受H0假设.由于KS检验不需要知道数据的分布情况,在小样本的统计分

笔者寄语:分类器算法最后都会有一个预测精度,而预测精度都会写一个混淆矩阵,所有的训练数据都会落入这个矩阵中,而对角线上的数字代表了预测正确的数目,即True Positive+True Nagetive. -------------------------- 相关内容: 1. R语言︱ROC曲线--分类器的性能表现评价 2.机器学习中的过拟合问题 3.R语言︱机器学习模型评估方案(以随机森林算法为例) -------------------------- 1.TPR与TNR 同时可以相应算出TP

正态分布 判断一样本所代表的背景总体与理论正态分布是否没有显著差异的检验.   方法一概率密度曲线比较法 看样本与正太分布概率密度曲线的拟合程度,R代码如下: #画样本概率密度图s-rnorm(100)#产生样本d-density(s)plot(d,col=green,ylim=c(0,0.5))#添加正太分布概率密度图s2-seq(from=-4,to=4,length.out=100)lines(s2,norm_expression(s2),col=red) 画图结果如下:   方法二 正太

用R画地图数据 首先,从这里下载中国地图的GIS数据,这是一个压缩包,完全解压后包含三个文件(bou2_4p.dbf.bou2_4p.shp和bou2_4p.shx),将这三个文件解压到同一个目录下. 用R绘制地图比较简单.比如画一下全国范围的区域,可以用如下代码: library(maptools) mydat = readShapePoly("china-province-border-data.tar/china/bou2_4p.shp") #地图包位置,根据自己的角标位置设置

参考 http://www.3dmax8.com/3dmax/2013/0916/5661.html 如果想创建曲线段,可以在单击下一个点时按住鼠标不放,继续拖曳,再拖到另一个点上,单击鼠标右键,即可结束操作. 或者用贝叶斯曲线来画 画线一开始可以先描出大体轮廓,然后调整,可以旋转放大场景,从而更贴切的描绘,可以移动点,添加点等. 画好线后,如果选择闭合,然后摄影机一般以第一个画的店作为起点.但是后面如果又调整的话,就很难控制摄像机的起始位置. 所以可以不要闭合,然后也可以调整,这样摄像机就能从

R  画网络图 目的:用R做生信分析,画基因样本的网络图,从中观察样本的致病性情况. 一.所用到的包 library(tidyr) library(ggplot2) library(reshape2) library(readr) library(network) library(dplyr) library(plyr) library(sna) library(GGally) library(ggnetwork) library(tidygraph)# tidy graph analysis

做线性回归的时候,检验回归方程和各变量对因变量的解释参数很容易搞混乱,下面对这些参数进行一下说明: 1.t检验:t检验是对单个变量系数的显著性检验   一般看p值:    如果p值小于0.05表示该自变量对因变量解释性很强. 2.F检验:F检验是对整体回归方程显著性的检验,即所有变量对被解释变量的显著性检验 3.P值:P值就是t检验用于检测效果的一个衡量度,t检验值大于或者p值小于0.05就说明该变量前面的系数显著,选的这个变量是有效的. 4.R方:拟合优度检验 5.调整后的R方: 小结: t检

Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法.其原假设H0:两个数据分布一致或者数据符合理论分布.D=max| f(x)- g(x)|,当实际观测值D>D(n,α)则拒绝H0,否则则接受H0假设. KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况,可以算是一种非参数检验方法.当然这样方便的代价就是当检验的数据分布符合特定的分布事,KS检验的灵敏度没有相应的检验来的高.在样本量比较小的时候,KS检验最为非参数检验

转自:https://zhuanlan.zhihu.com/p/79934510 风控业务背景 在风控中,我们常用KS指标来评估模型的区分度(discrimination).这也是风控模型同学最为追求的指标之一.那么,有多少人真正理解KS背后的内涵?本文将从区分度的概念.KS的计算方法.业务指导意义.几何解释.数学思想等多个维度展开分析,以期对KS指标有更为深入的理解认知. 目录Part 1. 直观理解区分度的概念Part 2. KS统计量的定义Part 3. KS的计算过程及业务分析Part

转载自:http://blog.fens.me/r-linear-regression/ 前言 在我们的日常生活中,存在大量的具有相关性的事件,比如大气压和海拔高度,海拔越高大气压强越小:人的身高和体重,普遍来看越高的人体重也越重.还有一些可能存在相关性的事件,比如知识水平越高的人,收入水平越高:市场化的国家经济越好,则货币越强势,反而全球经济危机,黄金等避险资产越走强. 如果我们要研究这些事件,找到不同变量之间的关系,我们就会用到回归分析.一元线性回归分析是处理两个变量之间关系的最简单模型,是