R语言学习笔记：使用reshape2包实现整合与重构

　　R语言中提供了许多用来整合和重塑数据的强大方法。

• 整合 aggregate
• 重塑 reshape

　　在整合数据时，往往将多组观测值替换为根据这些观测计算的描述统计量。

　　在重塑数据时，则会通过修改数据的结构（行与列）来决定数据的组织方式。

　　样例数据：mtcars

　　从Motor Trend杂志（1974）提取的，它描述了34种车型的设计和性能特点（气缸数、排量、马力、每加仑汽油行驶的英里数，等等，详细可使用help(mtcars)。

一、转置

　　反转行和列，使用函数t()即可对一个矩阵或数据框进行转置。

cars <- mtcars[1:5,1:4]
> cars
                   mpg cyl disp  hp
Mazda RX4         21.0   6  160 110
Mazda RX4 Wag     21.0   6  160 110
Datsun 710        22.8   4  108  93
Hornet 4 Drive    21.4   6  258 110
Hornet Sportabout 18.7   8  360 175
 
t(cars)
> t(cars)
     Mazda RX4 Mazda RX4 Wag Datsun 710 Hornet 4 Drive Hornet Sportabout
mpg         21            21       22.8           21.4              18.7
cyl          6             6        4.0            6.0               8.0
disp       160           160      108.0          258.0             360.0
hp         110           110       93.0          110.0             175.0

二、整合数据

　　在R中使用一个或者多个by变量和一个预先定义好的函数来折叠（collapse）数据。

调用格式：

　　aggregate(x, by, FUN)

• x：数据对象
• by：变量名组成的列表
• FUN：用来计算描述性统计量的标量函数

示例：根据气缸数和档位数整合mtcars数据，并返回各个数值型变量的均值。

options(digits = 3) # 修改小数点后的精确位数
attach(mtcars) # 加载进内存
aggdata <- aggregate(mtcars, by = list(cyl,gear), FUN = mean, na.rm = TRUE)
aggdata
detach(mtcars) # 从内存删除
 
> aggdata
  Group.1 Group.2  mpg cyl disp  hp drat   wt qsec  vs   am gear carb
1       4       3 21.5   4  120  97 3.70 2.46 20.0 1.0 0.00    3 1.00
2       6       3 19.8   6  242 108 2.92 3.34 19.8 1.0 0.00    3 1.00
3       8       3 15.1   8  358 194 3.12 4.10 17.1 0.0 0.00    3 3.08
4       4       4 26.9   4  103  76 4.11 2.38 19.6 1.0 0.75    4 1.50
5       6       4 19.8   6  164 116 3.91 3.09 17.7 0.5 0.50    4 4.00
6       4       5 28.2   4  108 102 4.10 1.83 16.8 0.5 1.00    5 2.00
7       6       5 19.7   6  145 175 3.62 2.77 15.5 0.0 1.00    5 6.00
8       8       5 15.4   8  326 300 3.88 3.37 14.6 0.0 1.00    5 6.00

　　在使用aggregate()函数的时候，by中的变量必须在一个列表中（即使只有一个变量），指定的函数可为任意的内建或自编函数。

三、reshape包

　　reshape包是一套重构和整合数据集的万能工具。

install.packages("reshape")
library(reshape)

• 　　将数据“融合”（melt），使得每一行都是一个唯一的标识符-变量组合。
• 　　将数据“重铸”（cast），变成任意想要的形状。

mydata <- data.frame(
  ID = c(1,1,2,2),
  Time = c(1,2,1,2),
  X1 = c(5,3,6,2),
  X2 = c(6,5,1,4)
)

　　测量（measurement）指最后两列的值。

1.融合

　　每个测量变量独占一行，行中带有要唯一确定这个测量所需要的标识符变量。

md <- melt(mydata, id = c("ID","Time"))

> melt(mydata, id = c("ID","Time"))
  ID Time variable value
1  1    1       X1     5
2  1    2       X1     3
3  2    1       X1     6
4  2    2       X1     2
5  1    1       X2     6
6  1    2       X2     5
7  2    1       X2     1
8  2    2       X2     4

　　必须指定要唯一确定每个测量所需要的变量。现在可以使用cast()函数重铸为任意形状。

2.重铸（reshape包cast，reshape不提供cast）

　　cast()函数读取已融合的数据，并使用提供的公式和一个（可选的）用于整合数据的函数将其重塑。调用格式为：

newdata <- cast(x, formula, FUN)
 
formula : row1 + row2 ~ col1 + col2

• 　　row：定义要划掉的变量集合，确定各行的内容
• 　　col：定义要划掉、确定各列内容的变量集合

> cast(md,ID ~ variable, mean)
  ID X1  X2
1  1  4 5.5
2  2  4 2.5
 
> cast(md, Time ~ variable, mean)
  Time  X1  X2
1    1 5.5 3.5
2    2 2.5 4.5
 
> cast(md, ID ~ Time, mean)
  ID   1 2
1  1 5.5 4
2  2 3.5 3
 
> cast(md, ID + Time ~ variable) # 不执行整合
  ID Time X1 X2
1  1    1  5  6
2  1    2  3  5
3  2    1  6  1
4  2    2  2  4
 
> cast(md, ID + variable ~ Time)
  ID variable 1 2
1  1       X1 5 3
2  1       X2 6 5
3  2       X1 6 2
4  2       X2 1 4

　　缺少FUN时，数据仅被重塑，而不被整合。

四、reshape2包

　　Hadley Wickham大神写了很多R语言包，包括ggplot2、plyr、reshape/reshape2等。

　　reshape2中主要使用函数：melt、acast、dcast等。

• melt ： 拆分数据（会自动根据数据类型：data.frame、array、list选择函数进行实际操作）

1.数组（array）类型

　　依次对各维度的名称进行组合将数据进行线性/向量化。如果数据有N维，得到的结果共有N+1列，前N列记录数组的位置信息，最后一列才是观测值。

datax <- array(1:8, dim = c(2,2,2))
 
> melt(datax)
  X1 X2 X3 value
1  1  1  1     1
2  2  1  1     2
3  1  2  1     3
4  2  2  1     4
5  1  1  2     5
6  2  1  2     6
7  1  2  2     7
8  2  2  2     8
 
> melt(datax, varnames = LETTERS[24:26], value.name = "Val")
  X Y Z value
1 1 1 1     1
2 2 1 1     2
3 1 2 1     3
4 2 2 1     4
5 1 1 2     5
6 2 1 2     6
7 1 2 2     7
8 2 2 2     8

2.列表（list）类型

　　将列表中的数据拉成两列，一列记录列表元素的值，另一列记录列表元素的名称。如果列表中的元素是列表，则增加列变量存储元素名称。元素值排列在前，名称在后，越是顶级的列表元素名称越靠后。

datax <- list(
  agi="AT1G10000",
  go=c("GO:1000","GO:2000"),
  kegg=c("","","")
)
 
> melt(datax)
      value   L1
1 AT1G10000  agi
2   GO:1000   go
3   GO:2000   go
4      0100 kegg
5      0200 kegg
6      0300 kegg
 
> melt(list(at_0441=datax))
      value   L2      L1
1 AT1G10000  agi at_0441
2   GO:1000   go at_0441
3   GO:2000   go at_0441
4      0100 kegg at_0441
5      0200 kegg at_0441
6      0300 kegg at_0441

3.数据框（data.frame）类型

melt(data, id.vars, measure.vars,
    variable.name = "xxx",
    value.name = "yyy",
    na.rm = FALSE)

• 　　id.vars：维度的列变量，在结果中占一列
• 　　measure.vars：观测值的列变量，名称和值分别组成variable和value两列
• 　　variable.name & value.name 列变量名称

> str(airquality)
'data.frame':    153 obs. of  6 variables:
 $ Ozone  : int  41 36 12 18 NA 28 23 19 8 NA ...
 $ Solar.R: int  190 118 149 313 NA NA 299 99 19 194 ...
 $ Wind   : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
 $ Temp   : int  67 72 74 62 56 66 65 59 61 69 ...
 $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
 $ Day    : int  1 2 3 4 5 6 7 8 9 10 ...
 
> head(airquality)
  Ozone Solar.R Wind Temp Month Day
1    41     190  7.4   67     5   1
2    36     118  8.0   72     5   2
3    12     149 12.6   74     5   3
4    18     313 11.5   62     5   4
5    NA      NA 14.3   56     5   5
6    28      NA 14.9   66     5   6

　　按月份分析臭氧和太阳辐射、风速、温度三者之间的关系，可以转化：

> aq <- melt(airquality,
+            id = c("Ozone","Month","Day"),
+            measure = c(2:4),
+            variable.name = "V.type",
+            value.name = "value")
 
> head(aq)  # id.vars/var.ids/id 都可以
  Ozone Month Day variable value
1    41     5   1  Solar.R   190
2    36     5   2  Solar.R   118
3    12     5   3  Solar.R   149
4    18     5   4  Solar.R   313
5    NA     5   5  Solar.R    NA
6    28     5   6  Solar.R    NA

　　id和measure两个参数可以只指定其中一个，剩余的列被当成另外一个参数的值。如果两个都省略，数值型的列被看成观测值，其他的被当成id。如果想省略参数或者去掉部分数据，参数名最好用 id/measure，否则得到的结果可能不理想。

　　最好使用id=1之类的来定义。

　　melt以后的数据，称为molten数据，用ggplot2做统计图就很方便，可以快速做出我们需要的图形，例如：

library(ggplot2)
str(aq)
aq$Month <- factor(aq$Month)
 
p <- ggplot(data = aq,
            aes(x = Ozone, y = value, color = Month)) + theme_bw()
p + geom_point(shape = 20, size = 4) +
  geom_smooth(aes(group = 1),fill = "gray80") +
  facet_wrap(~ V.type, scales="free_y")

　　melt获得的数据（molten data）可以使用acast或dcast还原。

• acast：获得数组
• dcast：获得数据框

　　公式左边每个变量都会作为结果的一列，而右边的变量被当成因子类型，每个水平都会在结果中产生一列。

> head(dcast(aq, Ozone+Month+Day ~ variable))
  Ozone Month Day Solar.R Wind Temp
1     1     5  21       8  9.7   59
2     4     5  23      25  9.7   61
3     6     5  18      78 18.4   57
4     7     5  11      NA  6.9   74
5     7     7  15      48 14.3   80
6     7     9  24      49 10.3   69

　　dcast函数的作用不止是还原数据，还可以使用函数对数据进行汇总（aggregate）。

> dcast(aq, Month ~ variable,fun.aggregate=mean,na.rm=TRUE)
  Month Solar.R  Wind Temp
1     5     181 11.62 65.5
2     6     190 10.27 79.1
3     7     216  8.94 83.9
4     8     172  8.79 84.0
5     9     167 10.18 76.9 

---

END 2018-10-30 00:07:24