R中的高效批量处理函数(lapply sapply apply tapply mapply)(转)
转自:http://blog.csdn.net/wa2003/article/details/45887055
R语言提供了批量处理函数,可以循环遍历某个集合内的所有或部分元素,以简化操作。
这些函数底层是通过C来实现的,所以效率也比手工遍历来的高效。
批量处理函数有很重要的apply族函数:lapply sapply apply tapply mapply。apply族函数是高效能计算的运算向量化(Vectorization)实现方法之一,比起传统的for,while常常能获得更好的性能。
- apply : 用于遍历数组中的行或列,并且使用指定函数来对其元素进行处理。
- lapply : 遍历列表向量内的每个元素,并且使用指定函数来对其元素进行处理。返回列表向量。
- sapply : 与lapply基本相同,只是对返回结果进行了简化,返回的是普通的向量。
- mapply: 支持传入两个以上的列表。
- tapply: 接入参数INDEX,对数据分组进行运算,就和SQL中的by group一样。
(1)行或列遍历操作函数apply
apply(X, MARGIN, FUN, ...)
参数:
X: an array, including a matrix. MARGIN: 1:行操作; 2:列操作 FUN:函数名
用apply可以很方便地按行列求和/平均,其结果与colMeans,colSums,rowMeans,rowSums是一样的。
举例如下:
> a<-matrix(1:12,c(3,4))
> a
[,1] [,2] [,3] [,4]
[1,] 1 4 7 10
[2,] 2 5 8 11
[3,] 3 6 9 12
> apply(a,1,sum)
[1] 22 26 30
> apply(a,2,sum)
[1] 6 15 24 33
> apply(a,1,function(x) sum(x)+2)
[1] 24 28 32
> apply(a,1,function(x) x^2)
[,1] [,2] [,3]
[1,] 1 4 9
[2,] 16 25 36
[3,] 49 64 81
[4,] 100 121 144
(2)列表(list)遍历函数lapply
lapply(list, function, ...)
特点:对每列进行操作,非常适合数据框;输入的数据必须是list型。
> a<-matrix(1:12,c(3,4))
> a
[,1] [,2] [,3] [,4]
[1,] 1 4 7 10
[2,] 2 5 8 11
[3,] 3 6 9 12
> a.df<-data.frame(a)
> a
[,1] [,2] [,3] [,4]
[1,] 1 4 7 10
[2,] 2 5 8 11
[3,] 3 6 9 12
> is.list(a.df)
[1] TRUE
> str(a.df)
'data.frame': 3 obs. of 4 variables:
$ X1: int 1 2 3
$ X2: int 4 5 6
$ X3: int 7 8 9
$ X4: int 10 11 12
> lapply(a.df, function(x) x+3)
$X1
[1] 4 5 6
$X2
[1] 7 8 9
$X3
[1] 10 11 12
$X4
[1] 13 14 15
> lapply(a.df, function(x) sum(x)+3)
$X1
[1] 9
$X2
[1] 18
$X3
[1] 27
$X4
[1] 36
> y<-lapply(a.df, function(x) sum(x)+3)
> is.list(y)
[1] TRUE
> names(y)
[1] "X1" "X2" "X3" "X4"
> y
$X1
[1] 9
$X2
[1] 18
$X3
[1] 27
$X4
[1] 36
> y[1]
$X1
[1] 9
> y[[1]]
[1] 9
> y$X1
[1] 9
(3)sapply
sapply(list, function, ..., simplify)
simplify=F:返回值的类型是list,此时与lapply完全相同simplify=T(默认值):返回值的类型由计算结果定,如果函数返回值长度为1,则sapply将list简化为vector;如果返回的列表中每个元素的长度都大于1且长度相同,那么sapply将其简化位一个矩阵
> yy<-sapply(a.df, function(x) x^2)
> yy
X1 X2 X3 X4
[1,] 1 16 49 100
[2,] 4 25 64 121
[3,] 9 36 81 144
> str(yy)
num [1:3, 1:4] 1 4 9 16 25 36 49 64 81 100 ...
- attr(*, "dimnames")=List of 2
..$ : NULL
..$ : chr [1:4] "X1" "X2" "X3" "X4"
> str(y)
List of 4
$ X1: num 9
$ X2: num 18
$ X3: num 27
$ X4: num 36 > yy<-sapply(a.df, function(x,y) x^2+y, y=3)
> yy
X1 X2 X3 X4
[1,] 4 19 52 103
[2,] 7 28 67 124
[3,] 12 39 84 147> y1<-sapply(a.df, sum)
> y1
X1 X2 X3 X4
6 15 24 33
> str(y1)
Named int [1:4] 6 15 24 33
- attr(*, "names")= chr [1:4] "X1" "X2" "X3" "X4"
> y1<-sapply(a.df, sum,simplify=F)
> y1
$X1
[1] 6
$X2
[1] 15
$X3
[1] 24
$X4
[1] 33
> str(y1)
List of 4
$ X1: int 6
$ X2: int 15
$ X3: int 24
$ X4: int 33
(4)mapply:mapply是sapply的多变量版本(multivariate sapply),Apply a Function to Multiple List or Vector Arguments
mapply(FUN, ..., MoreArgs = NULL, SIMPLIFY = TRUE, USE.NAMES = TRUE)
> mapply(function(x,y) x^y, c(1:5), c(1:5))
[1] 1 4 27 256 3125
> a<-matrix(1:12,c(3,4))
> a
[,1] [,2] [,3] [,4]
[1,] 1 4 7 10
[2,] 2 5 8 11
[3,] 3 6 9 12
> mapply(sum, a[,1],a[,3],a[,4])
[1] 18 21 24 > mapply(function(x,y,z) x^2+y+z, a[,1],a[,3],a[,4])
[1] 18 23 30
(5)
tapply(X, INDEX, FUN = NULL, ..., simplify = TRUE)
x是需要处理的向量,INDEX是因子(因子列表),FUN是需要执行的函数,simplify指是否简化输入结果(考虑sapply对于lapply的简化)
补充个因子函数gl,它可以很方便的产生因子,在方差分析中经常会用到
> gl(3,5) 3是因子水平数,5是重复次数
[1] 1 1 1 1 1 2 2 2 2 2 3 3 3 3 3
Levels: 1 2 3
> gl(3,1,15) 15是结果的总长度
[1] 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3
Levels: 1 2 3 > df <- data.frame(year=kronecker(2001:2003, rep(1,4)), loc=c('beijing','beijing','shanghai','shanghai'), type=rep(c('A','B'),6), sale=rep(1:12))
> df
year loc type sale
1 2001 beijing A 1
2 2001 beijing B 2
3 2001 shanghai A 3
4 2001 shanghai B 4
5 2002 beijing A 5
6 2002 beijing B 6
7 2002 shanghai A 7
8 2002 shanghai B 8
9 2003 beijing A 9
10 2003 beijing B 10
11 2003 shanghai A 11
12 2003 shanghai B 12
> tapply(df$sale,df[,c('year','loc')],sum)
loc
year beijing shanghai
2001 3 7
2002 11 15
2003 19 23
> tapply(df$sale,df[,c('type','loc')],sum)
loc
type beijing shanghai
A 15 21
B 18 24
R中的高效批量处理函数(lapply sapply apply tapply mapply)(转)的更多相关文章
- R中的name命名系列函数总结
本文原创,转载请注明出处,本人Q1273314690 R中关于给行列赋名称的函数有 dimnames,names,rowname,colname,row.names 这五个函数,初学的时候往往分不清楚 ...
- Python学习教程:Pandas中第二好用的函数
从网上看到一篇好的文章是关于如何学习python数据分析的迫不及待想要分享给大家,大家也可以点链接看原博客.希望对大家的学习有帮助. 本次的Python学习教程是关于Python数据分析实战基础相关内 ...
- R中利用apply、tapply、lapply、sapply、mapply、table等函数进行分组统计
apply函数(对一个数组按行或者按列进行计算): 使用格式为: apply(X, MARGIN, FUN, ...) 其中X为一个数组:MARGIN为一个向量(表示要将函数FUN应用到X的行还是列) ...
- R中的apply族函数和多线程计算
一.apply族函数 1.apply 应用于矩阵和数组 # apply # 1代表行,2代表列 # create a matrix of 10 rows x 2 columns m <- ma ...
- R中的par()函数的参数
把R中par()函数的主要参数整理了一下(另外本来还整理了每个参数的帮助文档中文解释,但是太长,就分类之后,整理为图表,excel不便放上来,就放了这些表的截图)
- 总结——R中查看属性的函数
本文原创,转载注明出处,本人Q1273314690 R中知道一个变量的主要内容和结构,对我们编写代码是很重要的,也可以帮我们避免很多错误. 但是,R中有好几个关于属性查看的函数,我们往往不知道什么时候 ...
- R中apply等函数用法[转载]
转自:https://www.cnblogs.com/nanhao/p/6674063.html 1.apply函数——对矩阵 功能是:Retruns a vector or array or lis ...
- R中的sample函数
今天介绍一些运算函数,它们的使用很简单,没有什么难度,但是也会用的着. 在医学统计学或者流行病学里的现场调查.样本选择经常会提到一个词:随机抽样.随机抽样是为了保证各比较组之间均衡性的一个很重要的方法 ...
- R中的sub替换函数【转】
R中的grep.grepl.sub.gsub.regexpr.gregexpr等函数都使用正则表达式的规则进行匹配.默认是egrep的规则,也可以选用Perl语言的规则.在这里,我们以R中的sub函数 ...
随机推荐
- Black Hat Python3 Chapter4
mail sniffer 现在的邮箱应用我能找到的都是加密传输了,因此相像书中那样直接从抓到的包里获取到用户名和密码信息除非是自己专门搭建一个邮箱服务器,不然很难做到,为了便于理解代码的运行,多添加一 ...
- you must restart adb and eclipse的相关解决办法
问题是5037端口被占用: C:\>netstat -aon|findstr "5037" 看到了吗,端口被进程号为5037的进程占用,继续执行下面命令(也可以去任务管理器中 ...
- 【python006-算术操作符】
一.算术运算符: //:指两个数相除求整 **:指一个数的多少次方,3**2 == 3的2次方 %:指两个数相除求余 二.通过学习求余的方式改进求闰年的程序 temp = input("请输 ...
- topcoder srm 545 div1
problem1 link 这个可以贪心地从前向后构造.假设当前已经的字符串为$S$,对于一个字符$c$来说,设将$c$加到$S$后得到的新串为$S^{'}$.那么如果$X+Y+Z \ge minIn ...
- dp入门(LIS,LCS)
LCS
- 5. 多重背包问题 II 【用二进制优化】
多重背包问题 II 描述 有 NN 种物品和一个容量是 VV 的背包. 第 ii 种物品最多有 sisi 件,每件体积是 vivi,价值是 wiwi. 求解将哪些物品装入背包,可使物品体积总和不超过背 ...
- 旅行商问题【山财新生赛E】
链接:https://ac.nowcoder.com/acm/contest/547/E 来源:牛客网 题目描述 旅行商来到了一个新的国家,这个国家有N个城市,他们直接由N-1条道路相连接,每条道路的 ...
- SpringBoot 超时设置
1.RestTemplate超时 设置配置HttpComponentsClientHttpRequestFactory中的RequestConfig属性 RestTemplateConfig: imp ...
- 【做题】CF1045(ABH)
原文链接https://www.cnblogs.com/cly-none/p/9697662.html 题目当然不会做完了,这里只讲有做&会做的. A. Last chance 题意:有\(n ...
- P3041 [USACO12JAN]视频游戏的连击Video Game Combos
思路 简单的AC自动机上dp,暴力跳fail向子节点直接转移即可 代码 #include <cstdio> #include <algorithm> #include < ...