ubuntu之路——day3(本来打算做pytorch的练习 但是想到前段时间的数据预处理的可视化分析 就先总结一下)

首先依托于一个场景来进行可视化分析 直接选了天池大数据竞赛的新人赛的一个活跃题目 用的方式也是最常用的数据预处理方式

【新人赛】快来一起挖掘幸福感！https://tianchi.aliyun.com/competition/entrance/231702/introduction

既然是data cleaning的总结 就稍微写详细点 （其实感觉在写废话 我一共就想总结一下matplotlib的pyplot和seaborn的画图）

用pandas读进来之后是dataframe格式的，所以可以用df的一些方法进行查看,注意下文的xx都是你自己读文件的变量名

第一条常用的：xx.head()啥都不填默认查看前五条数据对应的xx.tail()查看后五行

第二条常用的：xx.describe()查看所有特征的值分布 即计数、均值、标准差、最小最大值、中间值和两个四分位数

第三条常用的：xx.isnull().sum()isnull 将空的元素置为True，sum计算True的个数 合起来就是算空元素的个数

第四条常用的：xx.shape() 就是返回dataframe的结构(行列数)

第五条常用的：xx['某个属性的名字'].value_counts()可以计算你的dateframe的某一个属性的值的分布情况 比如当前属性有几个类别 每个类别有多少条数据，对以上进行补充 当你发现你的某条属性(通常都是最终的类属性)有你不需要的值的时候，比如你的数据集介绍属性有五个 但是这时候出现了第六类属性 你可以直接把它对应的数据删掉，方法是xx = xx.loc[xx['你要处理的属性名'] != 刚才多余的那个值] 可以直接把你的数据给清洗了 不用drop操作了 很方便

第六条常用的：开始总结matplotlib是一个大的画图包 一般用的是它旗下pyplot子包 简称plt 然后用到seaborn这个包 它是基于上个包的补充工具 更简单更漂亮，首先我们通常会画出一系列的图 所以首先用plt.subplots或者subplot进行子图的布局 区别是subplot(a,b,c)的三个参数代表行、列、第几幅图 第三个参数的顺序是从左到右 从上到下 比如你一共布局四张图 221就是左上222右上223左下224右下，然后贼麻烦 就等于以前用c语言的switch一样 你要重复写好多个句子， 推荐用 f,[a1,a2,...an] = subplots(a,b,figsize=(x,y)) f指的是所有子图的大标题 在所有子图上方显示 需要这条语句f.suptitle('title') 然后向量a1到an就表示你的子图作图区域 你想在a几画什么图都行 a，b和上文一样表示子图行列布局 figsize单幅图大小  接下来 方便的地方来了

xx['某个属性的名字'].value_counts().plot.pie(autopct = '%1.2f%%',ax = a1)

最方便的饼图画法 autopct是饼图每个组分中自动显示名称和占比几位小数就是%1.几f 两个%%意思是显示% ax是你的子图作图区域 就是在上面subplots申请的向量

条状图或者直方图：你可以用plot.bar和plot.hist搞定 和上面饼图的做法差不多 但是直方图的时候颜色还需要你自己设置 麻烦了点 所以我们用seaborn的直方图作为补充 seaborn的简称是sns

sns.countplot('属性名',data = xx，ax = a2)，详细参数请看seaborn的文档 很简单

第七条常用的：python的聚合函数 groupby 详情参见博客：https://blog.csdn.net/qcyfred/article/details/78785792这货写的挺好 用股市做例子 很直观

那么一句话就是xx.groupby(['属性1','属性2'])['属性2'].count 按照1的分类对属性2的值进行划分计数

sns.countplot(x = '划分属性1gender',hue = '类属性2happiness',data = xx)

第八条常用的：

trainData['happiness'][trainData['age'] == 1].value_counts().plot.pie(autopct = '%1.2f%%',ax = ax[0])

可以在plot画图时添加多个子属性的条件限定 来制作多张不同条件下的图

第九条常用的：

热图heatmap，也就是所谓的相关系数矩阵，也就是协方差矩阵，感谢seaborn的corr方法，一步计算相关系数矩阵

ax = plt.subplots(1, 1, figsize = (20,20))
ax = sns.heatmap(xx[['f1','f2',...'fn']].corr(),annot = True,linewidths = 0.2)annot指的是每个格子中间是否显示数值