第3章 探索性数据分析（单因子&对比）与可视化

1、理论铺垫

　Dataframe和Series均适用

　　~集中趋势：均值mean()、中位数median()、与分位数quantile(q=0.25)、众数mode()

　　~离中趋势：标准差std()、方差var()

　　　数据分布：偏态skew()与峰态kurt()、正态分布与三大分布
正偏态（mean>median）

　　import scipy.stats as ss

　    正态分布：ss.norm 、卡方分布：ss.chi2 、t分布：ss.chi2、f分布：ss.chi2
　　偏态系数：数据平均值偏离状态的衡量
　　峰态系数：数据分布集中强度的衡量

~ 抽样定理：抽样误差、抽样精度

　　 data.sample(10)  #抽10个

data.sample(frac = 0.001)  #抽样百分比为0.001

2、数据分类

·         定类（类别）：根据事物离散、无差别属性进行的分类，如：名族

·         定序（顺序）：可以界定数据的大小，但不能测定差值：如：收入的低、中、高

·         定距（间隔）：可以界定数据大小的同时，可测定差值，但无绝对零点，如：温度

·         定比（比率）：可以界定数据大小，可测定差值，有绝对零点，如：身高、体重

3、单属性分析

3.1异常值分析

　　离散异常值，连续异常值，常识异常值

3.2对比分析

　　绝对数与相对数（比什么），时间、空间、经验与计划（如何比）

　　　　绝对数比较：绝对的数字的比较，例如：收入

　　　　相对数比较：将几个有联系的指标进联合，构成一个新的数

3.3结构分析

　　各组成部分的分布与规律

3.4分布分析

　　数据分布频率的显式分析

其中seaborn是matplotlib的封装

Seaborn官网： http://seaborn.pydata.org/api.html

（1）柱状图 --- 以纵轴表示数值大小

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

#其中seaborn是matplotlib的封装
data = pd.read_csv('HR.csv',sep=',')
pd.set_option('display.max_columns',None) #控制列的输出

#处理异常之后的数据
data = data[data['last_evaluation']<=1][data['department']!='sale'][data['salary']!='nme']

#设置图画格式
sns.set_style(style="darkgrid")#style="whitegrid"
sns.set_context(context="poster",font_scale=0.5)
sns.set_palette(sns.color_palette('Reds'))

plt.title('SALARY')
plt.xlabel('salary')
plt.ylabel('number')
#设置横轴的显示
plt.xticks(0.5+np.arange(len(data['salary'].value_counts())),data['salary'].value_counts().index)
#设置横轴显示的最小值是0，最大是4；纵轴显示的最小值是0，最大值是10000
plt.axis([0,4,0,10000])
plt.bar(0.5+np.arange(len(data['salary'].value_counts())),data['salary'].value_counts(),width=0.5)
for x,y in zip(0.5+np.arange(len(data['salary'].value_counts())),data['salary'].value_counts()):
    plt.text(x,y,y,ha="center",va="bottom")#对每一类进行标注，标注的值为y，水平位置是center，垂直位置是bottom
plt.show()

# sns.countplot(x="salary",data=data)
sns.countplot(x="salary",hue= "department",data=data)#多层绘制，例如以部门为分割
plt.show()

（2）直方图---以面积表示数值大小

　　　　　　横轴表示数据类型，纵轴表示分布情况

plt.figure(figsize=(10,8))
plt.subplot(1,3,1)
#其中kde表示可密度估计，hist表示直方图
sns.distplot(data['satisfaction_level'],bins=10,kde=False,hist=True)
plt.subplot(1,3,2)
sns.distplot(data['last_evaluation'],bins=10,kde=True,hist=True)
plt.subplot(1,3,3)
sns.distplot(data['average_monthly_hours'],bins=10,kde=True,hist=True)
plt.show()

（3）箱线图

　　　　用于显示一组数据分散情况的统计图

#saturation=0.75表示上四分位数，whis=3表示k=3，默认值是1.5，其中y表示呈现方式
sns.boxplot(y = data['time_spend_company'],saturation=0.75,whis=1.5)
plt.show()

（4）折线图

matplotlib--- plt.plot()；seaborn--- sns.poinplot()

值得一提的是：sns中对折线图有两种画法

（见标黄部分，可以直接指定x和y，两种写法一样，结果还可以指定上下界----此处疯狂打call）

sub_data = data.groupby('time_spend_company').mean()
# print(sub_data)
sns.pointplot(sub_data.index,sub_data['left'])
# sns.pointplot(data['time_spend_company'],data['left'])
# plt.plot(sub_data.index,sub_data['left'],'ro-')
plt.show()

（5）饼图

seabon库中没有饼图的画法，只有matplotlib中有

libs = data['department'].value_counts().index
explodes = [0.1 if i == 'sales' else 0 for i in libs]
plt.pie(data['department'].value_counts(normalize=True),labels=libs,autopct="%.2f",colors=sns.color_palette('Reds'),explode = explodes)
plt.show()