EDA cheat sheet
%config InlineBackend.figure_format = 'svg'
在jupyter notebook中使用这个命令绘制更清晰的图像,注意百分号后不能有空格。
1. Univariate visualization
单变量分析每次查看一个特征。当我们独立地分析一个特征时,我们通常最感兴趣的是它的值的分布。
1.1 数量特征
数量特征取有序的数值。这些值可以是离散的,像整数,或者是连续的,像实数,通常表达计数或者度量的含义。
使用 Histograms and density plots
# method in pandas
df['feature'].hist()
df['feature'].plot(kind='density')
# pandas的绘图函数中可以通过传入 subplot=True & layout=(m,n)来自定义绘制的多个子图的布局
# method in seaborn
sns.displot(df[feature])
# seaborn中的displot会同时绘制直方图和密度图
使用 Box plot and Violin plot
关于 Box plot 的很好的图视化解释参考 箱形图。Box plot中的离群值需要特别关注。
# method in pandas,不知道是缺少相关参数的问题还是什么,没有画出离群点,seaborn中有画
df['feature'].plot(kind = 'box')
df['feature'].plot.box()
# method in seaborn
sns.boxplot(data=df['feature'])
sns.violinplot(data=df['feature'])
1.2 类别特征和二元特征
类别特征取固定数目的值。二元特征是类别特征只有两种取值时的一个特例情况。如果在类别特征上的值可以是无序的也可以是由顺序的。
使用频率表
df['feature'].value_counts()
# 默认结果中的 entry 按照最大频率到最小频率排列
使用 Bar plot
Bar plot 是频率表的图形化展示。
# method in pandas
df['feature'].value_counts().plot.bar()
# method in seaborn
sns.countplot(x='feature', data=df) # 至少传两个参数
seaborn中的barplot() 利用矩阵条的高度反映数值变量的集中趋势,这个barplot并不是我们在此处想要使用的barplot。一定要记住,seaborn中的barplot展示的是某种变量分布的平均值 ,当需要精确观察每类数值变量(数值变量在类别变量上做groupby)的分布趋势,boxplot与violinplot往往是更好的选择。
Tips: 将多幅图对比绘制的方法
figure, axes = plt.subplots(nrows=m, ncols=n,figsize=(m*x_length,n*y_length))
sns.plot(..., ax=axes[0])
df.plot(..., ax=axes[1])
figure.show()
总结:
- 直方图表示数值变量的分布情况,而条形图表示类别变量的频率的分布情况。
- 直方图的x轴是连续的,条形图的x轴是离散的;二者的y轴都是连续的。
2. Multivariate visualization
多变量图表允许我们去看两个或多个变量(注意:可以通过技巧在二维平面上绘制三个变量之间的某些关系) 之间的关系。
2.1 数量 vs 数量
使用 Correlation matrix and heatmap
# method : {‘pearson’, ‘kendall’, ‘spearman’}
corr_matrix = df[num_features].corr()
sns.heatmap(corr_matrix)
使用 Scatter plot
# method in matplotlib
plt.scatter(df['num_x'], df['num_y'])
# method in pandas
df.plot.scatter(x='num_x', y= 'num_y')
# method in seaborn
sns.jointplot(x='num_x', y='num_y', data = df, kind='scatter')
# this is the smoothed version of bivariate distribution
sns.jointplot('num_x', 'num_y', data=df, kink='kde')
使用 Scatterplot matrix
# method in pandas
pd.scatter_matrix(df['num_features'])
# method in seaborn
sns.pairplot(df['num_features'])
2.2 数量 vs 类别
前面我们提到过可以在二维平面展示三个变量之间的关系,这种技巧就是利用pandas或者seaborn的语义映射能力,将第三个变量(只能是类别)用不同颜色区分开来。下面是一个例子:
sns.scatter('num_x', 'num_y', data=df, hue='cate_third_var')
使用 Box plot and Violin plot
一般是观察一个数值变量在不同类别下的分布情况
sns.boxplot(x='..._feat', y='..._feat', orient='v')
# orient 默认为'v',这时传给x类别特征,传给y数值特征;当x,y的特征类型反着传时,必须把 orient设置为'h'才能正确绘图。orient可以看作时数值特征轴的方向。
# sns.violinplot()类似
使用 sns.catplot()
当我们想要一次在两个类别变量维度来分析一个数值变量时,在seaborn中有一个非常适合的函数叫做catplot()。
sns.catplot(x='cate_feature1', y='num_feature', col='cate_feature2', data=df, kind='box', col_wrap=n, height=m, aspect=.8)
上面的代码将会画m*n个子图,每个子图中是一个sns.boxplot(x='cate_feature1', y='num_feature', data=df), 但是每个子图中的数据df是cate_feature2
取某个类别时的子集。
2.3 类别 vs 类别
使用 sns.countplot() plus "hue semantic"
原理是通过条形图来描述类别的分布,并且通过颜色语义映射的方法来加入第二个类别变量。注意,这种方法研究的主要对象仍然是第一个类别变量,语义映射只是把第二个类别变量对其的影响表示出来,语义映射的变量相当于辅助变量。
sns.countplot(x='cate_feature1', hue='cate_feature2', data=df)
使用 Contingency table
除了使用图形的方式来分析类别变量,还有一个来自统计学的传统工具:列联表(contingency table)也叫做交叉表(cross tabulation)。它将多个类别变量的频率分布用一张表格来表示。特别的是,它允许我们通过沿着一行或是沿着一列来查看一个变量在其他变量某些条件下的分布。
pd.crosstab(df['cate_feautre1'], df['cate_feature2'])
3. Whole dataset
3.1 Naive approach
最简单的方法就是使用前面介绍的分析一个,两个或者是三个变量的方法逐个地探索完整个数据集。也可以使用sns.pairplot()或者pd.scatter_matrix()一次完成。
3.2 Dimensional reduction
使用 t-SNE
from sklearn.manifold import TSNE
from sklearn.preprocessing import StandardScaler
# step1 对数值变量做归一化处理
# step2 对两类变量用LabelEncoder()
tsne = TSNE(random_state=17)
tsne_repr = tsne.fit_transform(X_scaled)
plt.scatter(tsne_repr[:,0], tsne_repr[:,1], alpha =.5)
EDA cheat sheet的更多相关文章
- 转:PostgreSQL Cheat Sheet
PostgreSQL Cheat Sheet CREATE DATABASE CREATE DATABASE dbName; CREATE TABLE (with auto numbering int ...
- Git Cheat Sheet
Merge Undo git merge with conflicts $ git merge --abort Archive $ git archive --format zip --output ...
- CSS3 Animation Cheat Sheet:实用的 CSS3 动画库
CSS3 Animation Cheat Sheet 是一组预设的动画库,为您的 Web 项目添加各种很炫的动画.所有你需要做的是添加样式表到你的网站,为你想要添加动画效果的元素应用预制的 CSS 类 ...
- XSS (Cross Site Scripting) Prevention Cheat Sheet(XSS防护检查单)
本文是 XSS防御检查单的翻译版本 https://www.owasp.org/index.php/XSS_%28Cross_Site_Scripting%29_Prevention_Cheat_Sh ...
- IOS Application Security Testing Cheat Sheet
IOS Application Security Testing Cheat Sheet [hide] 1 DRAFT CHEAT SHEET - WORK IN PROGRESS 2 Int ...
- XSS Filter Evasion Cheat Sheet 中文版
前言 译者注: 翻译本文的最初原因是当我自己看到这篇文章后,觉得它是非常有价值.但是这么著名的一个备忘录却一直没有人把它翻译成中文版.很多人仅仅是简单的把文中的 各种代码复制下来,然后看起来很刁的发在 ...
- HTML5 Cheat sheet PNG帮助手册(标签、事件、兼容)
HTML5 Cheat sheet PNG帮助手册(标签.事件.兼容) 1.HTML5标签 2.HTML5事件 3.HTML5兼容 最新HTML5手册资料请参考:http://www.inmotion ...
- [转]Swift Cheat Sheet
原文:http://kpbp.github.io/swiftcheatsheet/ A quick cheat sheet and reference guide for Apple's Swift ...
- The iOS Design Cheat Sheet 界面设计速参
http://ivomynttinen.com/blog/the-ios-7-design-cheat-sheet/ With the release of iOS 7, app designers ...
随机推荐
- Django进阶(一)
目录 choice参数 MTV与MVC模型 Ajax Ajax传json数据 Ajax传file数据 contentType前后端传输数据编码 ajax + sweetalert 序列化组件 补充 c ...
- Linux系统定时备份网站文件到七牛云存储脚本
1.七牛云账号注册. 有些朋友可能会问为什么要备份到七牛云?很简单,七牛云免费注册就能获取1G的存储空间,只要简单几步操作完成实名认证即可获取10G的存储空间,对于一般个人站点来说已经足够备份使用了. ...
- luogu P4437 [HNOI/AHOI2018]排列
luogu 问题本质是把\(a_i\)作为\(i\)的父亲,然后如果有环就不合法,否则每次要取数,要满足取之前他的父亲都被取过(父亲为0可以直接取),求最大价值 贪心想法显然是要把权值大的尽量放在后面 ...
- CentOS查看Java进程并部署jar包
查看Java进程获取pid号:ps -ef|grep java|grep -v grep 部署Javajar包并指定输出日志文件(null不输出):nohup java -jar xx.jar > ...
- Linux Exploit系列之一 典型的基于堆栈的缓冲区溢出
Linux (x86) Exploit 开发系列教程之一(典型的基于堆栈的缓冲区溢出) Note:本文大部分来自于看雪hackyzh的中文翻译,加入了一些自己的理解 典型的基于堆栈的缓冲区溢出 虚拟机 ...
- python多线程之_thread
多线程类似于同时执行多个不同程序,多线程运行有如下优点: 使用线程可以把占据长时间的程序中的任务放到后台去处理. 用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进 ...
- Windows Electron初探
最近闲来无事,玩玩electron. 1.安装nodejs 下载地址:http://nodejs.cn/download/,下载64位.安装完成后,打开C:\Program Files\nodejs\ ...
- 因xhost命令和DISPLAY环境变量操作不当导致无法启动Oracle图形化安装界面
在redhat操作系统上安装Oracle 11.1时,遇到在执行runInstaller后无法启动安装图像化界面,甚是郁闷. 问题现象: 使用Xmanager2.0软件登陆AIX桌面,root用户可以 ...
- pyquery:轻松、灵活的处理html
介绍 pyquery是一个专门用来解析html的库,从名字很容易想到jQuery,没错,这完全是仿照jQuery的语法实现的.如果用过jQuery,那么pyquery也很容易上手 初始化html py ...
- linux库(程序)与包名联系
一般地,dev为相关开发库包. curses--cursor optimization光标优化--libncurses5-dev 现在常用的是new curses(ncurses). 在ubuntu中 ...