R语言学习3：数据框处理(1)

本系列是一个新的系列，在此系列中，我将和大家共同学习R语言。由于我对R语言的了解也甚少，所以本系列更多以一个学习者的视角来完成。

参考教材：《R语言实战》第二版（Robert I.Kabacoff），书中所提到的John Cook的优秀博文，关于代码规范的《来自Google的R语言编码风格指南》。

目录

• Part 1：变量管理
  • Section 1：创建变量——transform()
  • Section 2：变量的重编码——within()
  • Section 3：变量重命名——names()
• Part 2：值处理
  • Section 1：缺失值
  • Section 2：日期值——as.Date()
  • Section 3：类型转换
• Part 3：数据框处理
  • Section 1：排序
  • Section 2：数据框合并
  • Section 3：数据框取子集
  • Section 4：使用SQL查询

Part 1：变量管理

Section 1：创建变量——transform()

为数据框创建新变量，可以使用数据框的$运算符，如果df$variable中variable不属于原数据框，则会创建一个新的数据框。

mydata <- data.frame(
  x1 = c(2, 2, 6, 4),
  x2 = c(3, 4, 2, 8)
)
mydata$sumx <- mydata$x1 + mydata$x2
mydata$meanx <- mydata$sumx / 2

使用transform()函数，能更方便地创建新变量，其用法是：

mydata <- data.frame(
  x1 = c(2, 2, 6, 4),
  x2 = c(3, 4, 2, 8)
)
mydata <- transform(mydata,
                    sumx = x1 + x2,
                    meanx = (x1 + x2)/2)

除此外，transform()函数也能方便地对数据框执行修改，生成一个修改后的映像。

Section 2：变量的重编码——within()

变量的重编码，指的是根据变量的现有值创建新值的过程，如分箱、纠正错误值等。

为方便以下内容的示范，使用书中给出的原始数据框：

manager <- c(1, 2, 3, 4, 5)
date <- c("10/24/14", "10/28/14", "10/01/14", "10/12/14", "05/01/14")
country <- c("US", "US", "UK", "UK", "UK")
gender <- c("M", "F", "F", "M", "F")
age <- c(32, 45, 25, 39, 99)
q1 <- c(5, 3, 3, 3, 2)
q2 <- c(4, 5, 5, 3, 2)
q3 <- c(5, 2, 5, 4, 1)
q4 <- c(5, 5, 5, NA, 2)
q5 <- c(5, 5, 2, NA, 1)
leadership <- data.frame(manager, date, country, gender, age,
                         q1, q2, q3, q4, q5, stringsAsFactors = F)

条件赋值语句可以在条件为TRUE时，为向量的相应位置执行赋值，其用法为

variable[condition] <- expression  # 这里condition是一个条件向量

结合within()函数，可以方便地为数据框执行重编码，within()函数的语法与with()类似，但with()只允许方便地调用数据框中的变量，而within()还允许修改数据框。如，为leadership数据框中的agecat执行重编码：

leadership$age[leadership$age == 99] <- NA # 将异常值编码为NA

leadership <- within(leadership,{
  agecat <- NA
  agecat[age > 75] <- "Elder"
  agecat[age <= 75 & age >= 55] <- "Middle Aged"
  agecat[age < 55] <- "Young"
})

Section 3：变量重命名——names()

对变量名称不满意，可以使用fix(df)函数，交互式地更改变量名称，也可以使用names()函数。如

names(leadership)[2] <- "testDate"
names(leadership)[6:10] <- c("item1", "item2", "item3", "item4", "item5")

或使用plyr包中的rename函数修改变量名。

leadership <- rename(leadership, c(manager="managerID"))

Part 2：值处理

Section 1：缺失值

缺失值以符号NA表示，意为Not Available，它是不可比较的（即使是x == NA也不行，只能用is.na(x)）。在R语言中，缺失值与Inf（正无穷）、-Inf（负无穷）、NaN（不是一个数，Not a Number）不同，以上是它们的符号。

需要注意，含有缺失值的算术表达式和函数的计算结果也是缺失值。多值函数一般拥有na.rm参数，如果想要在计算时免除缺失值的影响，需要指定na.rm=T。

> x <- c(1, 2, NA, 3)
> sum(x)
[1] NA
> sum(x, na.rm=T)
[1] 6

对于数据框，如果缺失值只集中于一小部分观测，可以使用行删除手段，具体地，可以使用na.omit()函数，对所有含缺失值的观测进行删除。

newdata <- na.omit(leadership)  # 函数生成的是一个映像，不会对原数据框产生影响
newdata

Section 2：日期值——as.Date()

要获得当前的日期，可以使用Sys.Date()函数；要获得当前的日期与时间，可以使用date()函数。

> date()
[1] "Fri Feb 19 13:56:35 2021"
> Sys.Date()
[1] "2021-02-19"

在R语言中，日期值常常是以字符串的形式输入的，然后需要使用as.Date()函数转化成数值形式存储的日期，其语法为

as.Date(x, "input_format")

这里，input_format是用于读入日期的适当格式，默认为yyyy-mm-dd（年月日），其他格式化符号如下表。

对于本例，时间格式mm/dd/yy，所以应当使用如下的修改编码：

myformat <- "%m/%d/%y"  # 编码以字符串形式存储
leadership$date <- as.Date(leadership$date, myformat)

要改变日期的格式以输出，可以使用format()函数，其使用格式是

format(x, format="output_format")
---
> m <- Sys.Date()
> format(m, format="%Y/%m/%d")
[1] "2021/02/19"

计算日期之间的差值，可以使用difftime()函数，其使用格式是

difftime(date1, date2, units)

这里units是时间单位，可以使用"auto", "secs", "mins", "days", "weeks"等。

with(leadership, {
  difftime(date[2], date[1], units = "days")
})

Time difference of 4 days

最后，要将日期转化为字符串，使用as.character()函数。

Section 3：类型转换

要判断某个值是否是某个类型，使用is.datatype()函数；将数值转换为某个类型，使用as.datatype()函数。

其中，is.datatype()返回一个TRUE或FALSE，可以用于控制流。

Part 3：数据框处理

Section 1：排序

使用order()函数可以对向量进行排序，order()会对向量重新编码，接受若干个等长向量分别作为排序的有序关键字。

> x <- c("a", "e", "d", "d", "c", "b")
> y <- c(6, 5, 4, 3, 2, 1)

> order(x)
[1] 1 6 5 3 4 2
> order(x, y)  # y作为第二排序标准
[1] 1 6 5 4 3 2

对数据框，也可以使用order()函数作为条件排序，其原理是数据框可以按照一个有序向量进行排序。

with(leadership, {
  newdata2 <<- leadership[order(gender, -age), 1:5]
})

> newdata2

  managerID       date country gender age
2         2 2014-10-28      US      F  45
3         3 2014-10-01      UK      F  25
5         5 2014-05-01      UK      F  NA
4         4 2014-10-12      UK      M  39
1         1 2014-10-24      US      M  32

注意，如果想要呈现完整的数据框，[contidion, ]中逗号是不能省略的。

Section 2：数据框合并

横向合并：即实现两个数据框的内连接，通过一个或多个共有变量，可以使用merge()函数，其用法为

total <- merge(dataframeA, dataframeB, by="ID")  # by指定共有字段

如果不需要考虑外键，只是简单地横向合并，可以使用cbind()函数，这要求每个对象拥有相同的行数，以相同的顺序排序。

纵向合并：即向数据框中增加观测值，可以使用rbind()函数，这要求两个数据框拥有相同的变量个数（对顺序没有要求）。

total <- rbind(dataframeA, dataframeB)

如果两个数据框中变量不同，需要进行预处理：要么删除dataframeA中的多余变量，要么在dataframeB中创建追加的变量，并将其值设为NA。

Section 3：数据框取子集

选入变量：使用dataframe[, colindex]即可，这里colindex是变量的索引。事实上，如果需要保留全部观测值，可以直接使用dataframe[colindex]而并不需要逗号。另外，列索引也可以用变量名，如

myvars <- c("q1", "q2", "q3", "q4", "q5")
newdata <- leadership[myvars]

> newdata

  q1 q2 q3 q4 q5
1  5  4  5  5  5
2  3  5  2  5  5
3  3  5  5  5  2
4  3  3  4 NA NA
5  2  2  1  2  1

删除变量：可以使用如下的语句来删除q4，q5两个变量。

myvars <- names(leadership) %in% c("q4", "q5")
newdata <- leadership[!myvars]

这里，myvars是一个逻辑变量，除了q4和q5是T以外其他地方都是F，因此取反，表示除了q4和q5是F外其他都是T（需要保留）。

另外，如果知道q4和q5是第9、第10个变量，可以简单使用

newdata <- leadership[c(-9, -10)]

进行删除。

选入观测：选入观测也可以使用逻辑变量。现在，选入观测时间在2009-01-01到2014-10-20之间的观测值，这里which。

startdate <- as.Date("2009-01-01")
enddate <- as.Date("2014-10-20")
newdata <- leadership[leadership$date >= startdate & leadership$date <= enddate, ]  # 逗号必须保留

选择数据框的子集，最简单的方法是使用subset()函数，它可以一次性完成以上的功能，其使用格式如下：

subset(x, subset, select)

这里，x是要传入的数据框，subset是要保留观测的逻辑向量，select是要保留变量的向量。

newdata <- subset(
    leadership, gender == "M" & age > 25,
    select = gender:q4
)

> newdata
  gender age q1 q2 q3 q4
1      M  32  5  4  5  5
4      M  39  3  3  4 NA

可以看到，保留变量的向量可以直接用from:to表达式，且from和to可以不必是数值。

如要随机抽取观测，可以使用sample()函数，其用法是

sample(x, size, replace=FALSE)

这里，x表示抽样元素组成的向量，size表示要抽取的元素数量，replace表示是否是有放回抽样。要是从数据集中抽样，可以如此使用：

newsample <- leadership[sample(1:nrow(leadership), 3, replace=F), ]

Section 4：使用SQL查询

如果是较大的数据集，可以使用SQL语句进行查找，这依赖于sqldf库中的sqldf函数。

library(sqldf)
attach(mtcars)
search <- "SELECT * FROM mtcars WHERE carb=1 ORDER BY mpg"
newdf <- sqldf(search, row.names=T)

sqldf中还有许多可选择的参数，如stringsAsFactors、row.names等。