转自:https://zhuanlan.zhihu.com/p/79682292 风控业务背景 在风控中,稳定性压倒一切.原因在于,一套风控模型正式上线运行后往往需要很久(通常一年以上)才会被替换下线.如果模型不稳定,意味着模型不可控,对于业务本身而言就是一种不确定性风险,直接影响决策的合理性.这是不可接受的. 本文将从稳定性的直观理解.群体稳定性指标(Population Stability Index,PSI)的计算逻辑.PSI背后的含义等多维度展开分析. 目录Part 1. 稳定性的直观理

对数据集分箱的方式三种,等宽等频最优,下面介绍对数据集进行最优分箱,分箱的其他介绍可以查看其他的博文,具体在这就不细说了: 大体步骤: 加载数据: 遍历所有的feature, 分别处理离散和连续特征: 得到IV树: 递归遍历IV树,得到分割点构成的列表: 去掉不符合条件的分割点,得到最优分割点列表: 遍历最优分割点列表,将最优分割点信息注入到InfoValue对象中: 将每个特征构成的对象放到规则集中(是一个列表): 通过规则集对test进行WOE转换: 将规则集存一份到csv中,可以直观的查看

一.变量分箱 变量分箱常见于逻辑回归评分卡的制作中,在入模前,需要对原始变量值通过分箱映射成woe值.举例来说,如"年龄"这一变量,我们需要找到合适的切分点,将连续的年龄打散到不同的"箱"中,并按年龄落入的"箱"对变量进行编码. 关于变量分箱的作用,相关资料中的解释有很多,我认为变量分箱最主要有三个作用: 归一化:分箱且woe编码映射后的变量,可以将变量归一到近似尺度上: 引入非线性:对于逻辑回归这类线性模型,引入变量分箱可以增强模型的拟合能力:

每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 分箱法在实际案例操作过程中较为常见,能够将一些数据离散化,等级化,比如年龄段,我们并不想知道确切的几岁,于是乎可以将其分组.分段. 基础函数中cut能够进行简单分组,并且可以用于等宽分箱法. cut函数:cut(x, n):将连续型变量x分割为有着n个水平的因子.(参考来自: R语言︱数据集分组.筛选) [plain] view plain c

转载:https://zhuanlan.zhihu.com/p/38440477 转载:https://blog.csdn.net/starzhou/article/details/78930490 转载:https://www.cnblogs.com/wzdLY/p/9649101.html 1.离散的优势: (1)离散化后的特征对异常数据有很强的鲁棒性:比如一个特征是年龄>30是1,否则0.如果特征没有离散化,一个异常数据“年龄300岁”会给模型造成很大的干扰: (2)逻辑回归属于广义线性模

变量的KS值 KS(Kolmogorov-Smirnov)用于模型风险区分能力进行评估,指标衡量的是好坏样本累计部分之间的差距 .KS值越大,表示该变量越能将正,负客户的区分程度越大.通常来说,KS>0.2即表示特征有较好的准确率.强调一下,这里的KS值是变量的KS值,而不是模型的KS值.(后面的模型评估里会重点讲解模型的KS值).KS的计算方式: 计算每个评分区间的好坏账户数. 计算各每个评分区间的累计好账户数占总好账户数比率(good%)和累计坏账户数占总坏账户数比率(bad%). 计算每个

1.聚合统计 1.1描述统计 #df.describe(),对数据的总体特征进行描述 df.groupby('team').describe() df.groupby('team').describe().T #列数太多,进行转置 1.2统计函数 #对分组对象直接使用统计函数,分组内数据进行计算,返回df形式的数据 #计算平均数 df.groupby('team').mean() #相关性系数 df.groupby('team').corr() #每组的累计最大值 df.groupby('tea

在Word中,通过常规方法删除一个不需要的分节符时,会默认将分节符后面的页面设置带入前一节.比如,第一节是纵向排版,第二节是横向排版,当删除第二节的全部内容,包括二者之间的分节符之后,就会使得第一节的排版方式变成横向排版.这当然有让人沮丧. 按照广播体操的节奏,一二三四,四个连续的小动作,可以完美解决这一问题,还您一个好心情.那么,来吧,我们开始喽. 工具/原料   Word 方法/步骤   1 本操作在word2010中完成. 2 将光标定位到第一节的文末.呵呵,这就是第一个动作,有点简单哦.

本文同时发表在https://github.com/zhangyachen/zhangyachen.github.io/issues/117 首先说明一下MySQL的版本: mysql> select version(); +-----------+ | version() | +-----------+ | 5.7.17 | +-----------+ 1 row in set (0.00 sec) 表结构: mysql> desc test; +--------+-------------

由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异,为最常见的模型稳定度评估指针.其实PSI表示的就是按分数分档后,针对不同样本,或者不同时间的样本,population分布是否有变化,就是看各个分数区间内人数占总人数的占比是否有显著变化.公式如下: 这里的AC与EX为不同时间段的模型输出分数,如果PSI过大,说明模型输出的分数

Alink漫谈(十九) :源码解析 之 分位点离散化Quantile 目录 Alink漫谈(十九) :源码解析 之 分位点离散化Quantile 0x00 摘要 0x01 背景概念 1.1 离散化 1.2 分位数 1.3 四分位数 0x02 示例代码 0x03 总体逻辑 0x04 训练 4.1 quantile 4.2 countElementsPerPartition 4.3 MultiQuantile 4.4 QIndex 0x05 输出模型 0x06 预测 6.1 加载模型 6.2 预测

KS,AUC 和 PSI 是风控算法中最常计算的几个指标,本文记录了多种工具计算这些指标的方法. 生成本文的测试数据: import pandas as pd import numpy as np import pyspark.sql.functions as F from pyspark.sql.window import Window from pyspark.sql.types import StringType, DoubleType from pyspark.sql import Sp

引言 本篇文章主要介绍.NET中6个重要的概念:栈,堆,值类型,引用类型,装箱,拆箱.文章开始介绍当你声明一个变量时,编译器内部发生了什么,然后介绍两个重要的概念:栈和堆:最后介绍值类型和引用类型,并说明一些有关它们的重要原理. 最后通过一个简单的示例代码说明装箱拆箱带来的性能损耗. 声明变量的内部机制 在.NET程序中,当你声明一个变量,将在内存中分配一块内存.这块内存分为三部分:1,变量名:2,变量类型:3,变量值. 下图揭示了声明一个变量时的内部机制,其中分配的内存类型依据你的变量类型..

最近在开发一个新的项目,可能会产生大数据量,需要对部分表进行分表操作,故来研究学习MySQL的分表功能. 由于实验报告已经写成Exlce文件了,各位看过就直接下载吧:MySQL分表分析报告.xls 以下是此次实验的结论: Insert时,分表和不分表的性能所差无几: 大量数据Insert时,大量数据整合成一条Sql的性能比逐个Insert的性能提高很多: 分表与否并不影响查询操作,其返回的结果还是和不分表的是一样的: 实际数据的存储,并不是完全按照分表策略执行的,会存在一定的偏差: 查询如果不是

1.      装箱和拆箱是一个抽象的概念 2.      装箱是将值类型转换为引用类型 :拆箱是将引用类型转换为值类型       利用装箱和拆箱功能,可通过允许值类型的任何值与Object 类型的值相互转换,将值类型与引用类型链接起来 例如: int val = 100; object obj = val; Console.WriteLine (“对象的值 = {0}", obj); 这是一个装箱的过程,是将值类型转换为引用类型的过程 int val = 100; object obj =

c#装箱和拆箱知识,装箱和拆箱是一个抽象的概念. 1.装箱和拆箱是一个抽象的概念  2.装箱是将值类型转换为引用类型 : 拆箱是将引用类型转换为值类型 利用装箱和拆箱功能,可通过允许值类型的任何值与Object 类型的值相互转换,将值类型与引用类型链接起来 例如: 复制代码代码如下: int val = 100;  object obj = val;  Console.WriteLine (“对象的值 = {0}", obj);  这是一个装箱的过程,是将值类型转换为引用类型的过程 复制代码代码

引言 为什么有装箱和拆箱,两者起到什么作用?NET的所有类型都是由基类System.Object继承过来的,包括最常用的基础类型:int, byte, short,bool等等,就是说所有的事物都是对象.如果程序中所有的类型操作用的是引用类型时,往往导致效率低下,所以.Net通过将数据类型分为值类型和引用类型. 前面文章中讲过: 值类型 定义:值类型是在栈中分配内存,在声明时初始化后才能使用,不能为null. a.整型:(Sbyte.Byte.Char.Short.Ushort.Int.Uint

1.装箱和拆箱是一个抽象的概念   2. 装箱是将值类型转换为引用类型 ;   拆箱是将引用类型转换为值类型   利用装箱和拆箱功能,可通过允许值类型的任何值与Object 类型的值相互转换,将值类型与引用类型链接起来   例如:   int val = 100;   object obj = val;   Console.WriteLine ("对象的值 = {0}", obj):   这是一个装箱的过程,是将值类型转换为引用类型的过程   int val = 100;   obje

.       装箱和拆箱是一个抽象的概念 2.       装箱是将值类型转换为引用类型 :拆箱是将引用类型转换为值类型        利用装箱和拆箱功能,可通过允许值类型的任何值与Object 类型的值相互转换,将值类型与引用类型链接起来 例如: int val = 100; object obj = val; Console.WriteLine (“对象的值 = {0}", obj); 这是一个装箱的过程,是将值类型转换为引用类型的过程 int val = 100; object obj

引言 本篇文章主要介绍.NET中6个重要的概念:栈,堆,值类型,引用类型,装箱,拆箱.文章开始介绍当你声明一个变量时,编译器内部发生了什么,然后介绍两个重要的概念:栈和堆:最后介绍值类型和引用类型,并说明一些有关它们的重要原理. 最后通过一个简单的示例代码说明装箱拆箱带来的性能损耗. 声明变量的内部机制 在.NET程序中,当你声明一个变量,将在内存中分配一块内存.这块内存分为三部分:1,变量名:2,变量类型:3,变量值. 下图揭示了声明一个变量时的内部机制,其中分配的内存类型依据你的变量类型..