数据分析03 /基于pandas的数据清洗、级联、合并

数据分析03 /基于pandas的数据清洗、级联、合并

目录

• 数据分析03 /基于pandas的数据清洗、级联、合并
  • 1. 处理丢失的数据
  • 2. pandas处理空值操作
  • 3. 数据清洗案例
  • 4. 处理重复的数据
  • 5. 处理异常的数据
  • 6. 级联
  • 7. 合并操作

1. 处理丢失的数据

• 两种丢失的数据：

  1. 种类

     None：None是对象类型，type(None)：NoneType

     np.nan(NaN)：是浮点型，type(np.nan)：float

  2. 两种丢失数据的区别:

     object类型比float在进行运算耗时

• 测试两种耗时时间：

  import numpy as np
  %timeit np.arange(1000,dtype=object).sum()
  # 结果:
  63.4 µs ± 1.02 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
  
  %timeit np.arange(1000,dtype=float).sum()
  # 结果：
  6.45 µs ± 84.6 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
  

2. pandas处理空值操作

• pandas中的None和NAN

  df = DataFrame(np.random.randint(0,100,size=(8,6)))
  df.iloc[2,3] = np.nan
  df.iloc[5,5] = None   # 在内部会强转成浮点型
  df.iloc[5,3] = np.nan
  df.iloc[7,2] = np.nan
  df
  

  

• 对空值对应的行数据进行删除

  # 实现:Series、DataFrame都可以用isnull()
  df.isnull()   # 判断哪些元素为空值
  

  

  1.清洗有空值的行

  # 查看哪些行存在空值数据
  
  df.isnull().all(axis=1)   # 一般结合notnull()使用
  # 结果：
  # 0    False
  # 1    False
  # 2    False
  # 3    False
  # 4    False
  # 5    False
  # 6    False
  # 7    False
  # dtype: bool
  
  df.isnull().any(axis=1)
  # 结果：
  # 0    False
  # 1    False
  # 2     True
  # 3    False
  # 4    False
  # 5     True
  # 6    False
  # 7     True
  # dtype: bool
  
  df.notnull().all(axis=1)
  # 结果：
  # 0     True
  # 1     True
  # 2    False
  # 3     True
  # 4     True
  # 5    False
  # 6     True
  # 7    False
  # dtype: bool
  
  # 清洗有空值的行
  df.loc[df.notnull().all(axis=1)]
  
  # isnull()   --> any:true表示其对应的行中存在空值
  # notnull()  --> all:False表示其对应的行中存在空值
  

  

  2.直接使用dropna函数过滤空值对应的行数据

  # drop系列：行用axis=0，列用axis=1
  df.dropna(axis=0)
  

  

• 将空值进行填充

  # 任意填充
  df.fillna(value=666)   # 将空值都填充成value值
  
  # 推荐使用空值近邻的值进行填充
  df.fillna(method='ffill',axis=1)  # axis轴向，method=ffill（向前）,bfill(向后填充）
  
  # 如果发现还是有空值
  df.fillna(method='bfill',axis=1).fillna(method='ffill',axis=1)
  

  

3. 数据清洗案例

• 需求：

  • 数据说明：
    • 数据是1个冷库的温度数据，1-7对应7个温度采集设备，1分钟采集一次。
  • 数据处理目标：
    • 用1-4对应的4个必须设备，通过建立冷库的温度场关系模型，预估出5-7对应的数据。
    • 最后每个冷库中仅需放置4个设备，取代放置7个设备。
    • f(1-4) --> y(5-7)
  • 数据处理过程：
    • 1、原始数据中有丢帧现象，需要做预处理；
    • 2、matplotlib 绘图；
    • 3、建立逻辑回归模型。
  • 无标准答案，按个人理解操作即可，请把自己的操作过程以文字形式简单描述一下，谢谢配合。
  • 测试数据为testData.xlsx

• 代码实现：

  time	none	1	2	3	4	none1	5	6	7
  2019/1/27 17:00		-24.8	-18.2	-20.8	-18.8		NULL	NULL	NULL
  2019/1/27 17:01		-23.5	-18.8	-20.5	-19.8		-15.2	-14.5	-16
  2019/1/27 17:02		-23.2	-19.2	NULL	NULL		-13	NULL	-14
  2019/1/27 17:03		-22.8	-19.2	-20	-20.5		NULL	-12.2	-9.8
  2019/1/27 17:04		-23.2	-18.5	-20	-18.8		-10.2	-10.8	-8.8

  # 预处理，将excel数据读取出来，将空列none、none1删除
  df = pd.read_excel('./data/testData.xlsx')
  df.drop(labels=['none','none1'],axis=1,inplace=True)
  df
  
  # 删除空值所在的行，如果删除的代价较大，选择填充
  df.dropna(axis=0)
  
  # 填充
  new_df = df.fillna(axis=0,method='ffill').fillna(axis=0,method='bfill')
  # 检车空值填充的情况
  new_df.isnull().any(axis=0)
  
  # 结果：
  # time    False
  # 1       False
  # 2       False
  # 3       False
  # 4       False
  # 5       False
  # 6       False
  # 7       False
  # dtype: bool
  

4. 处理重复的数据

• 准备数据：

  df = DataFrame(data=np.random.randint(0,100,size=(10,8)))
  df.iloc[1] = [1,1,1,1,1,1,1,1]
  df.iloc[3] = [1,1,1,1,1,1,1,1]
  df.iloc[5] = [1,1,1,1,1,1,1,1]
  df.iloc[7] = [1,1,1,1,1,1,1,1]
  df
  

  

• 填充重复的数据

  df.drop_duplicates(keep='last')
  
  # keep = 'first'  表示第一行保留
  # keep = 'last'  表示最后一行保留
  # keep = 'False'  表示全部都进行填充
  

  

5. 处理异常的数据

• 需求：自定义一个1000行3列（A，B，C）取值范围为0-1的数据源，然后将C列中的值大于其两倍标准差的异常值进行清洗

• 实现：

  # 一个1000行3列（A，B，C）取值范围为0-1的数据源
  df = DataFrame(data=np.random.random(size=(1000,3)),columns=['A','B','C'])
  df.head()
  

  

  # 计算两倍标准差
  std_twice = df['C'].std() * 2
  
  #判定异常值的条件
  df.loc[~(df['C'] > std_twice)]
  

6. 级联

• pd.concat：pandas使用pd.concat函数，与np.concatenate函数类似

  参数说明：
      objs
      axis=0
      keys
      join='outer' / 'inner':表示的是级联的方式，outer会将所有的项进行级联（忽略匹配和不匹配），而inner只会将匹配的项级联到一起，不匹配的不级联
      ignore_index=False
  

• 匹配级联

  df1 = DataFrame({'employee':['Bobs','Linda','Bill'],
                  'group':['Accounting','Product','Marketing'],
                 'hire_date':[1998,2017,2018]})
  pd.concat((df1,df1),axis=0)
  

  

• 不匹配级联

  • 不匹配指的是级联的维度的索引不一致。纵向级联时列索引不一致，横向级联时行索引不一致
  • 有2种连接方式：
    • 外连接：补NaN（默认模式）
    • 内连接：只连接匹配的项

  df2 = df1.copy()
  df2.columns = ['employee','groupps','hire_date']
  
  """
  	employee	groupps	     hire_date
  0	 Bobs	    Accounting	   1998
  1	 Linda	    Product	       2017
  2	 Bill	    Marketing	   2018
  """
  
  pd.concat((df1,df2),axis=0)
  

  

• join

  inner:只对可以匹配的项进行级联

  outer:可以级联所有的项

  pd.concat((df1,df2),axis=0,join='inner')
  

  

• append函数的使用

  append只可以进行纵向的级联

  df1.append(df2)
  

7. 合并操作

• 合并概述：

  • merge与concat的区别在于，merge需要依据某一共同列来进行合并
  • 使用pd.merge()合并时，会自动根据两者相同column名称的那一列，作为key来进行合并。
  • 注意每一列元素的顺序不要求一致

• 一对一合并

  df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
                  'group':['Accounting','Engineering','Engineering'],
                  })
  
  df2 = DataFrame({'employee':['Lisa','Bob','Jake'],
                  'hire_date':[2004,2008,2012],
                  })
  
  pd.merge(df1,df2,on='employee')
  

  df1表格如下：

  

  df2表格如下：

  

  合并表格如下：

  

• 多对多合并

  df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
                   'group':['Accounting','Engineering','Engineering']})
  
  df5 = DataFrame({'group':['Engineering','Engineering','HR'],
                  'supervisor':['Carly','Guido','Steve']
                  })
  pd.merge(df1,df5,how='outer')
  

  df1表格如下：

  

  df5表格如下：

  

  合并表格如下：

  

• key的规范化

  1.当列冲突时，即有多个列名称相同时，需要使用on=来指定哪一个列作为key，配合suffixes指定冲突列名

  df1 = DataFrame({'employee':['Jack',"Summer","Steve"],
                   'group':['Accounting','Finance','Marketing']})
  
  df2 = DataFrame({'employee':['Jack','Bob',"Jake"],
                   'hire_date':[2003,2009,2012],
                  'group':['Accounting','sell','ceo']})
  
  pd.merge(df1,df2,on='group')
  

  df1表格如下：

  

  df2表格如下：

  

  合并表格如下：

  

  2.当两张表没有可进行连接的列时，可使用left_on和right_on手动指定merge中左右两边的哪一列列作为连接的列

  df1 = DataFrame({'employee':['Bobs','Linda','Bill'],
                  'group':['Accounting','Product','Marketing'],
                 'hire_date':[1998,2017,2018]})
  
  df5 = DataFrame({'name':['Lisa','Bobs','Bill'],
                  'hire_dates':[1998,2016,2007]})
  
  pd.merge(df1,df5,left_on='employee',right_on='name',how='outer')
  

  df1表格如下：

  

  df5表格如下：

  

  合并表格如下：