R学习笔记第五篇：数据变换和清理

数据分析的工作，80%的时间耗费在处理数据上，而数据处理的主要过程可以分为：分离-操作-结合（Split-Apply-Combine），也就是说，首先，把数据根据特定的字段分组，每个分组都是独立的；然后，对每个分组按照业务需求执行转换；最后，把转换后的结果组合在一起。在数据处理中，经常需要循环访问数据，R语言是矢量化的，天生具有处理循环操作的优势。

使用ggplot2包中的diamonds数据集做为示例数据

> install.packages('ggplot2')
> library(ggplot2)
> data("diamonds")

data()函数的作用是加载指定的数据集，本例将加载ggplot2包中的diamonds数据集，这个数据集在下文直接引用。

一，使用aggregate()函数做数据变换

在研究数据时，有时需要对数据按照特定的字段进行分组，然后统计各个分组的数据，这就是SQL语法中的分组-聚合操作，使用aggregate()函数对数据进行简单的数据处理。

aggregate()函数用于把数据分离为单独的子集，为每一个子集计算聚合值，然后把聚合值结合（combine）在一起返回。

aggregate(formula, data, FUN, ...,subset, na.action = na.omit)

参数注释：

formula：指定formula对象，包括符号“ ~”，以及在符号“~”两侧的变量，左侧代表要计算聚合值的变量（聚合变量），右侧代表分组的变量，例如，price~cut，函数依据分组变量，把数据分离为多个单独的子集。
data：指定操作的数据框；
FUN：该参数用于指定函数，该函数应用在符号“~”左侧的变量；
...：指定传递给FUN函数的其他参数；
subset：向量类型，可选参数，用于指定data的观测子集；
na.action: 如何处理缺失值，默认为忽略NA。如果不选择na.omit，则需指定函数去处理NA。

1，单个分组变量

使用aggregate() 函数操作diamonds数据集，按照cut字段分组，函数mean的作用是为每个分组计算prince的平均值：

aggregate(price~cut,diamonds,mean)

2，多个分组变量

aggregate()函数能够添加多个分组变量，只需要在formula右侧添加变量，并用加号“+”隔离：

> aggregate(price~cut+color,diamonds,mean)
         cut color    price
       Fair     D 4291.061
       Good     D 3405.382
  Very Good     D 3470.467
....

3，多个聚合变量

aggregate()函数能够添加多个聚合变量，只需要在formula左侧，使用函数cbind()把两个变量组合起来：

> aggregate(cbind(price,carat)~cut,diamonds,mean)
        cut    price     carat
      Fair 4358.758 1.0461366
      Good 3928.864 0.8491847
 Very Good 3981.760 0.8063814
   Premium 4584.258 0.8919549
     Ideal 3457.542 0.7028370

4，多个分组变量和多个聚合变量

aggregate()函数能够formular对象的两侧分别添加多个变量，按照多个分组变量和多个聚合变量执行聚合运算

> aggregate(cbind(price,carat)~cut+color,diamonds,mean)
         cut color    price     carat
       Fair     D 4291.061 0.9201227
       Good     D 3405.382 0.7445166
....

二，计数

R中计数比较特殊，plyr包中有一个计算函数count()，参数vars定义分组的变量，该函数会把重复值计算N次：

count(df, vars = NULL)

使用aggregate()来实现分组计数，使用length(x)来计算向量中元素的个数，该函数会把重复值计算N次：

aggregate(cut~color,diamonds,length)

为了计算唯一值的数量，可以使用unique(x)，在计数之前，对向量元素去重：

aggregate(cut~color,diamonds,function(x) length(unique(x)))

三，数据变换（dplyr包）

dplyr包提供灵活的数据操作，用于对数据框执行转化和重塑，这个包是plyr包的升级版本，侧重于处理数据框对象，因此其名字带d（data frame）,dplyr包是R开发人员必学必会的包。

dplyr包有三个主要的目标：

更加灵活和简单地处理数据框；
使用内存，提高数据处理的性能；
使用相同的接口处理数据，无论数据存储在何处，无论是在数据框中，数据表或数据库。

1，tlb类型

dplyr包不是默认安装的包，在使用之前，需要使用以下命令安装和引用dplyr包：

install.packages("dplyr")
library(dplyr)

dplyr包只能用于tibble（简称tbl）类型的对象，tibble 类型是dplyr包特有的对象类型（data frame tbl / tbl_df）。在利用dplyr包处理数据之前，建议把数据框装载成tibble类型，可以调用 tbl_df()函数把数据框类型转化成 tibble 类型的数据对象：

> df <- tbl_df(diamonds)

2，投影函数（select）

从tbl对象中，选择特定的数据列显示，select()函数的第一个参数是tibble对象，后续的参数是tbl对象中的变量名：

> select(df,carat,cut,color)

2，筛选函数（filter）

从tbl对象中，按照特定的条件过滤数据：

> filter(df,color=='E')

3，转换函数（mutate）

根据tbl对象中的数据，应用指定的公式，派生新的数据列，或重写已经存在的数据列：

> mutate(df,avg_ct=price/carat)

4，汇总函数（summarize）

对tbl对象执行聚合运算，如果tbl对象已经被分组，那么单独对每个分组进行聚合运算：

> summarize(df,avg_prince=mean(price),avg_ct=mean(carat))

5，分组函数（group_by）和移除分组(ungroup)

使用group_by()函数对tbl对象执行分组，被分组之后，tbl对象处于分组状态，可以使用ungroup函数，移除tbl对象的分组状态。

group_by(df,color)

6，排序函数（arrange）

arrange()函数对tbl变量进行排序，默认是按照字段的升序值排序，使用desc(field)，可以按照字段的降序值排序：

> arrange(df,color)

7，管道操作符（%>%）

管道操作符（%>%）用于把前一步操作的结果集（变量类型是tbl）传递到给函数的第一个参数中，同时函数的第一个参数可以省略，例如：

> df %>% group_by(color) %>% summarize(mean(price))
# A tibble:  x
  color `mean(price)`
  <ord>         <dbl>
     D      3169.954
     E      3076.752
     F      3724.886
     G      3999.136
     H      4486.669
     I      5091.875
     J      5323.818

8，连接操作（join）

dplyr包还提供了连接（join）操作，

inner_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)
left_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)
right_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)
full_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)
semi_join(x, y, by = NULL, copy = FALSE, ...)
anti_join(x, y, by = NULL, copy = FALSE, ...)

参数注释：

by：设置两个数据集用于匹配的字段名，默认使用全部的同名字段进行匹配，如果两个数据集需要匹配的字段名不同，可以直接用等号指定匹配的字段名，例如， by = c("a" = "b")，表示用x.a和y.b进行匹配。
copy：如果两个数据集来自不同的数据源，copy设置为TRUE时，会把数据集y的数据复制到数据集x中，出于性能上的考虑，需要谨慎设置copy参数为TRUE。
suffix：合并后的数据集中同名变量，会自动添加suffix中设置的后缀加以区分。

9，集合操作（set）

#取两个集合的交集
intersect(x,y, ...)
 
#取两个集合的并集，并进行去重
union(x,y, ...)
 
#取两个集合的并集，不去重
union_all(x,y, ...)
 
#取两个集合的差集
setdiff(x,y, ...)
 
#判断两个集合是否相等
setequal(x, y, ...)

10，绑定操作

dplyr包提供了按行/列合并数据集的函数，合并的对象为数据框，也可以是能够转换为数据框的列表。按行合并函数bind_rows()通过列名进行匹配，不匹配的值使用NA替代，类似于base:: rbind()函数。按列合并函数bind_cols()通过行号匹配，因此合并的数据框必须有相同的行数，函数类似于base:: cbind()函数。原数据集行名称会被过滤掉。

#按行合并，.id添加新列用于指明合并后每条数据来自的源数据框
bind_rows(...,.id = NULL)
 
#按列合并
bind_cols(...)
 
#合并数据集
combine(...)

11，排名操作

row_number(x)
ntile(x, n)
min_rank(x)
dense_rank(x)
percent_rank(x)
cume_dist(x)

例如，对一个向量的元素进行排序：

x <- c(, , , , , NA)
row_number(x)

12，去重

对数据对象去重

distinct(data, ..., keep_all = FALSE)

参数注释：

data：tbl对象
... ：可选的变量，用于指定去重的变量，如果去重的变量不唯一，那么只保留第一个观测
keep_all：设置为TRUE时，所有的变量都保留到.data，如果...的组合不唯一，那么只保留第一行的观测的各个变量值

13，计数

计数使用函数 n() 来实现，而统计数据集中无重复值的数量使用函数 n_distinct()来实现：

n()
n_distinct(..., na.rm = FALSE)

统计各个分组的观测数量，只能用于 summarise(), mutate() 和 filter() 中

carriers <- group_by(flights, carrier)
summarise(carriers, n())
mutate(carriers, n = n())
filter(carriers, n() < )

参考文档：

【R语言】必学包之dplyr包

R语言滴水穿石系列文章（一）：dplyr-高效的数据变换与整理工具

R语言扩展包dplyr笔记

R: 矩阵运算及常用函数 II - aggregate