Python数据分析入门案例

转载自 https://blog.csdn.net/lijinlon/article/details/81517699

Data analysis by Python 入门

1. 重复数据处理

在DataFrame中主要运用duplicated方法和drop_duplicates方法：

• duplicated方法返回的是一个布尔型的Series，用来只是各行是否重复，如果重复则为True，否则为False。
• drop_duplicates直接返回已经删除了重复行的DataFrame。

默认drop_duplicates方法会判断所有列，只有所有列的值都重复才算重复行，如果仅需要依据某一列或者某几列进行重复项判断。可以添加列名的列表：drop_duplicates([‘K1’])或者drop_duplicates([‘K1’,’K2’])。删除的重复值可以选择保留第一项还是最后一项，添加 keep = ‘last’,会保留最后一个重复值，keep = ‘first’会保留第一个重复值。

1.1 Excel文件读取

pandas的ExcelFile类或pandas.read_excel函数支持读取存储在Excel 2003（或更高版本）中的表格型数据。这两个工具分别使用扩展包xlrd和openpyxl读取XLS和XLSX文件。你可以用pip或conda安装它们。

要使用ExcelFile，通过传递xls或xlsx路径创建一个实例，然后用存储在表单中的数据可以read_excel读取到DataFrame

import pandas as pd

xlsx = pd.ExcelFile('H:/DataAnalysis/data/ch04/4.2/重复数据处理.xls')
frame = pd.read_excel(xlsx, 'Sheet1')
frame
# 也可以直接用read_excel读取
# frame = pd.read_excel('H:/DataAnalysis/data/ch04/4.2/重复数据处理.xls', 'Sheet1')

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	编号
0	A667708
1	A310882
2	A356517
3	A520304
4	A776477
5	A466074
6	A466074
7	A466074
8	A776477
9	A218912

1.2 重复数据处理

使用DataFrame的drop_duplicates()进行重复数据的删除

frame_ = frame.drop_duplicates(keep = 'last')
# keep = 'last',会保留最后一个重复值，keep = 'first'会保留第一个重复值
frame_

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	编号
0	A667708
1	A310882
2	A356517
3	A520304
7	A466074
8	A776477
9	A218912

处理数据另存为Excel文件

如果要将pandas数据写入为Excel格式，你必须首先创建一个ExcelWriter，然后使用pandas对象的to_excel方法将 数据写入到其中：

writer = pd.ExcelWriter('H:/DataAnalysis/data/ch04/4.2/重复数据处理_处理后.xls')
frame_.to_excel(writer, 'Sheet1')
writer.save()
# 当然，你还可以不使用ExcelWriter，而是传递文件的路径到to_excel：
# frame.to_excel('H:/DataAnalysis/data/ch04/4.2/重复数据处理_处理后.xls')

2. 检查数据逻辑错误

逻辑错误是根据数据来源、数据性质等进行判断的，比如年龄出现负值等等。

这里的例子是在多选题中需要选择3项，为0代表未选择，不为0代表选择，所以需要判断每一行数据中不为0的个数是否等于3.

因为原先的xls文件有合并单元格，首先手动将其删除，只留下标题列ABCDEFG和表内容。

frame2 = pd.read_excel('H:/DataAnalysis/data/ch04/4.2/检查数据逻辑错误.xls', 'Sheet1')
frame2_ = frame2.copy()
frame2_

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	A	B	C	D	E	F	G
0	0	0	1	1	0	1	0
1	1	1	0	1	0	1	0
2	1	0	1	0	2	0	0
3	1	10	1	0	0	0	0

# DataFrame的loc和iloc方法可以选中行进行计算判断，loc和iloc分别通过索引和整数索引进行选择
for i in range(len(frame2_)):
    if (frame2_.loc[i] !=0).sum() == 3:
        frame2_.loc[i, '校验'] = '正确'
    else:
        frame2_.loc[i, '校验'] = '错误'
frame2_

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	A	B	C	D	E	F	G	校验
0	0	0	1	1	0	1	0	正确
1	1	1	0	1	0	1	0	错误
2	1	0	1	0	2	0	0	错误
3	1	10	1	0	0	0	0	错误

3. 字段分列（带分隔符）

在数据源数据中，有时根据需要，需要从某一列数据中提取信息（比如从身份证号中提取出生年月信息）或者对数据进行分割（比如类似2011-01-05的日期，提取年月日信息单独成列）。根据数据的不同分为两种情况，利用字符串的分隔提取方法解决：

1. 需要分列的信息之间有特殊的分隔符，比如逗号、空格等，可以直接用split方法分割；
2. 没有特殊分隔符时，采用对字符串的索引方式，如 对x = ‘spam’;可以使用x[0],x[-1],x[1:3]等进行信息提取

本例是针对英文名进行分割，中间有空格作为分隔符

excel文件比较随意，只添加了数据内容，没有列名，先手动添加列名 name

frame3 = pd.read_excel('H:/DataAnalysis/data/ch04/4.3/字段分列.xls', 'Sheet1')
frame3

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	name
0	Syed Abbas
1	Molly Dempsey
2	Lola Jacobsen
3	Diane Margheim

# 首先提取需要分裂的列，用split()分列，显然，这里的分隔符为空格
frame3_ = pd.DataFrame((x.split(' ') for x in frame3.name), index = frame3.index, columns = ['A', 'B'])
frame3_

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	A	B
0	Syed	Abbas
1	Molly	Dempsey
2	Lola	Jacobsen
3	Diane	Margheim

4. 字段分列（无特定分隔符）

frame4 = pd.read_excel('H:/DataAnalysis/data/ch04/4.3/数据抽取.xls', 'Sheet1')
frame4

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	姓名	姓
0	黄雅玲	NaN
1	王伟	NaN
2	谢丽秋	NaN
3	王俊元	NaN
4	孙林	NaN
5	王炫皓	NaN
6	张三丰	NaN
7	李四光	NaN
8	王麻子	NaN
9	赵六儿	NaN

# 字段本质上为字符串，固定的位置可以直接用索引直接选取
frame4['姓'] = pd.Series((x[0]) for x in frame4['姓名'])
frame4

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	姓名	姓
0	黄雅玲	黄
1	王伟	王
2	谢丽秋	谢
3	王俊元	王
4	孙林	孙
5	王炫皓	王
6	张三丰	张
7	李四光	李
8	王麻子	王
9	赵六儿	赵

5. 字段匹配

在excel中，vlookup是字段匹配搜索的神器，加上INDEX和MATCH函数几乎所向披靡。在DataFrame中，merge是合并两个DataFrame的方法，可以利用on = ‘列名’选择该列进行匹配，还可以选择选择交集、并集、左合并、右合并，功能十分强大

在本例中，员工职位表中有员工的姓名、工号、职务等信息，而在员工个人信息表中缺少职务信息，需要从员工职位表中将职务信息对应添加到员工个人信息表中。选择工号列进行匹配。

frame51 = pd.read_excel('H:/DataAnalysis/data/ch04/4.3/字符匹配/员工职位表.xlsx', 'Sheet1')
frame51

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	姓名	工号	部门	职务
0	黄雅玲	A776477	销售部	销售代表
1	王伟	A667708	销售部	销售代表
2	谢丽秋	A520304	销售部	销售代表
3	王俊元	A310882	销售部	销售总监
4	孙林	A466074	销售部	销售代表
5	王炫皓	A356517	销售部	销售代表
6	张三丰	A277381	市场部	市场总监
7	李四光	A254382	市场部	市场助理
8	王麻子	A213541	市场部	市场助理
9	赵六儿	A309752	市场部	市场助理

frame52 = pd.read_excel('H:/DataAnalysis/data/ch04/4.3/字符匹配/员工个人信息表（销售部）.xlsx', 'Sheet1')
frame52

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	姓名	工号	出生年月	性别	工龄	职务
0	黄雅玲	A776477	12/8/1968	女	37	NaN
1	王俊元	A310882	2/19/1952	男	45	NaN
2	谢丽秋	A520304	8/30/1963	女	28	NaN
3	王炫皓	A356517	9/19/1958	男	33	NaN
4	孙林	A466074	3/4/1955	男	29	NaN
5	王伟	A667708	7/2/1963	男	8	NaN

# 需要从《员工职位表》中提取‘职务’信息到《员工个人信息表》中，这相当于两个DataFrame合并，连接键为‘工号’，需要的字段为职务
pd.merge(frame52, frame51[['工号', '职务']], on = '工号')

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	姓名	工号	出生年月	性别	工龄	职务_x	职务_y
0	黄雅玲	A776477	12/8/1968	女	37	NaN	销售代表
1	王俊元	A310882	2/19/1952	男	45	NaN	销售总监
2	谢丽秋	A520304	8/30/1963	女	28	NaN	销售代表
3	王炫皓	A356517	9/19/1958	男	33	NaN	销售代表
4	孙林	A466074	3/4/1955	男	29	NaN	销售代表
5	王伟	A667708	7/2/1963	男	8	NaN	销售代表

6. 简单计算

本质上相当于在DataFrame添加一列，该列由前面列的数据生成，直接两列相乘即可

本例中是计算销售额（运用公式：销售额 = 销售数量 * 单价）

frame6 = pd.read_excel('H:/DataAnalysis/data/ch04/4.3/简单计算.xls', 'Sheet1')
frame6

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	产品名称	销售数量	单价	销售额
0	产品A	200.0	78.0	NaN
1	产品B	300.0	88.0	NaN
2	产品C	100.0	85.0	NaN
3	产品D	50.0	100.0	NaN
4	产品E	87.0	68.0	NaN
5	合计	NaN	NaN	NaN

frame6['销售额'] = frame6['销售数量'] * frame6['单价']
frame6

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	产品名称	销售数量	单价	销售额
0	产品A	200.0	78.0	15600.0
1	产品B	300.0	88.0	26400.0
2	产品C	100.0	85.0	8500.0
3	产品D	50.0	100.0	5000.0
4	产品E	87.0	68.0	5916.0
5	合计	NaN	NaN	NaN

# 这里销售额已经计算完毕，因为看到表格中还有合计项，顺便联系一下iloc的用法
frame6.iloc[5, 1:] = frame6.iloc[0:5, 1:].sum()
frame6

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	产品名称	销售数量	单价	销售额
0	产品A	200.0	78.0	15600.0
1	产品B	300.0	88.0	26400.0
2	产品C	100.0	85.0	8500.0
3	产品D	50.0	100.0	5000.0
4	产品E	87.0	68.0	5916.0
5	合计	737.0	419.0	61416.0

7. 函数计算

计算平均值和总和直接使用mean和sum函数，因为是计算每行的值，需要设置axis=1。

frame7 = pd.read_excel('H:/DataAnalysis/data/ch04/4.3/函数计算.xls', 'Sheet1')
frame7

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	产品名称	一季度	二季度	三季度	四季度	季度平均	总销售量
0	产品A	51.00	40.8	56.100	91.80	NaN	NaN
1	产品B	20.00	16.0	22.000	36.00	NaN	NaN
2	产品C	154.00	123.2	169.400	277.20	NaN	NaN
3	产品D	60.00	48.0	66.000	108.00	NaN	NaN
4	产品E	96.00	76.8	105.600	172.80	NaN	NaN
5	产品F	95.25	76.2	104.775	171.45	NaN	NaN

frame7['季度平均'] = frame7[['一季度', '二季度', '三季度', '四季度']].mean(axis = 1)
frame7['总销售量'] = frame7[['一季度','二季度','三季度','四季度']].sum(axis = 1)
frame7

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

	产品名称	一季度	二季度	三季度	四季度	季度平均	总销售量
0	产品A	51.00	40.8	56.100	91.80	59.92500	239.700
1	产品B	20.00	16.0	22.000	36.00	23.50000	94.000
2	产品C	154.00	123.2	169.400	277.20	180.95000	723.800
3	产品D	60.00	48.0	66.000	108.00	70.50000	282.000
4	产品E	96.00	76.8	105.600	172.80	112.80000	451.200
5	产品F	95.25	76.2	104.775	171.45	111.91875	447.675