在实际分析数据之前,必须对数据进行清理和转化,使数据符合相应的格式,提高数据的质量。数据处理通常包括增加新的变量、处理缺失值、类型转换、数据排序、数据集的合并和获取子集等。

一,增加新的变量

通常需要根据数据框中的现有列,按照特定的公式、业务逻辑,向数据框中新增变量,常用的操作符是:

  • 算术运算符是:+ - * /,求模(%%),整除(%/%),求幂(^ 或 **)
  • 比较运算符是:不等是 !=,相等是 ==,
  • 逻辑运算符与(&)、或(|)和非(!)。

举个例子,有数据框mydata

mydata<-data.frame(x1=c(,,,),x2=c(,,,))

向数据框增加新的变量,通常的做法是:

attach(mydata)
mydata$sumx<-x1+x2
mydata$meanx<-(x1+x2)/
detach(mydata)

第二个方法是:使用transform()函数,该函数只用于数据框:

mydata<- transform(mydata
,sumx=x1+x2
,meanx=(x1+x2)/)

第三个方法是:使用within()函数,返回整个数据框:

mydata<- within(mydata,{
sumx <- x1+x2,
meanx <- (x1+x2)/
})

第四个方法是:使用dplyr包中的mutate()函数,通过name=value的方式来添加新列:

mydata<- mutate(mydata,
sumx = x1+x2,
meanx = (x1+x2)/
)

二,对现有变量重新编码

重新编码是根据一个变量或其他多个变量的现有值,对现有的变量重新赋值,常用于把错误的值替换为正确值。重编码语句是:

variable[condition] <- expression

该语句仅在condition的值为TRUE时,执行赋值操作:

mydata$x1[ mydata$x1< ]<- 

也可以使用更为紧凑的写法

mydata<-within(mydata,{x1[x1<]<- })

注意:逻辑运算符等号是==

三,变量的重命名

查看数据框的变量名,函数names(df)返回变量名的向量:

names(mydata)

重命名现有的变量名,

names(df)[index] <- "new name"
names(df)[start:end] <- c("new name"....)

plyr包中有一个rename()函数,可用于修改数据框的变量名,rename()函数的语法是:

rename(x, replace, warn_missing = TRUE, warn_duplicated = TRUE)

参数 replace是一个命名向量,格式是c("colname"="newname",...),使用示例如下:

df <- rename(df,c("colname1"="newname","colname2"="newname"))

四,数据框的变量存在缺失值

缺失值是指不可用值,以符号NA表示,缺失值是不可比较的,只能使用is.na()检查是否存在缺失值,通过函数na.omit()移除所有含有缺失值的观测。

dataset<-within(dataset,{var1<- ifelse(is.na(var1),,var1)})
dataset<-na.omit(dataset)

举个例子,创建4行3列的矩阵m,并转换为数据框:

> d <-data.frame(matrix(sample(c(NA, :), , replace = TRUE), ))
> d
X1 X2 X3
NA
NA NA NA

1,把变量的缺失值替换为默认值

替换数据框中变量X1的缺失值,使用within()函数,不会修改数据框的数据,需要把函数返回的结果重新赋值给d对象:

> d <- within(d,{X1[is.na(X1)] <-})
> d
X1 X2 X3 NA NA

2,当变量出现缺失值时,移除观测

使用函数 na.omit(),用于把数据框中变量为NA的观测移除,处理的结果中不任意一个观测中都不包含NA的变量值

> d <- na.omit(d)
> d
X1 X2 X3

五,数据排序

对数据框进行排序,常用的函数是order(),默认的排序方向是升序,在排序变量前边加一个减号,按照降序方向排序。

该函数返回的结果是特定变量在数据框中的行序号序列,行序号按照升序或降序排列。

举个例子,创建一个数据框d:

> d <-data.frame(matrix(sample(c(:), , replace = TRUE), ))
> d
X1 X2 X3

按照数据框的变量X3,获取观测的升序排列,依次为:序号为3的观测、序号为1的观测、序号为4的观测和序号为2的观测

> order(d$X3)
[]

按照观测的序号的排列,从数据框中按照行序号重新获取数据,就得到按照变量X3升序的有序结果:

> d[order(d$X3),]
X1 X2 X3

对多个列进行排序,其中按照X3列升序,X2列降序:

> d[order(d$X3, -d$X2),]

可以把排序操作写的更紧凑点:

dataset = dataset[with(dataset, order(var1, -var2)), , ...]

六,排名

使用rank()函数对向量的元素进行排名

rank(x, na.last = TRUE,
ties.method = c("average", "first", "last", "random", "max", "min"))

参数注释:

  • x:向量
  • na.last:控制如何对象NA的顺序,如果设置为TRUE,那么把缺失值排最后一位;如果设置为FALSE,把缺失值排在第一位;如果设置位NA,移除缺失值;
  • ties.method:字符类型,用于指定如何处理相同值的排序,相同值构成的结构叫做ties。

The "first" method results in a permutation with increasing values at each index set of ties, and analogously "last" with decreasing values. The "random" method puts these in random order whereas the default, "average", replaces them by their mean, and "max" and "min" replaces them by their maximum and minimum respectively, the latter being the typical sports ranking.

例如,向数据框中增加排名字段Rank,该字段按照x1变量进行排名:

mydata<-data.frame(x1=c(,,,),x2=c(,,,))
mydata$Rank <- rank(mydata$x1,ties.method = "first") x1 x2 Rank

七,数据集的合并

把两个数据集合并为一个,这涉及到向数据框中添加列,向数据框中添加行。

1,向数据框中添加列

向数据框中添加列,可以使用merge()函数,也可以使用cbind()函数,这两个函数的区别是:

  • cbind()函数是根据列进行合并,合并的前提是每个对象拥有相同的行数,以相同的顺序排序。
  • merge()函数是根据列进行合并,该函数的功能类型关系型数据库的Join命令,不同要求每个对象拥有相同的行数,使用灵活。

Merge函数的语法定义:

merge(x, y, by = intersect(names(x), names(y)),
by.x = by, by.y = by, all = FALSE, all.x = all, all.y = all,
sort = TRUE, suffixes = c(".x",".y"),
incomparables = NULL, ...)

参数注释:

  • x,y:是进行合并的两个数据框对象;
  • by:按照两个对象的名称相同的列进行合并;
  • by.x,by.y:分别指定x对象和y对象匹配的列名;
  • all:对于不满足匹配条件时,是否保留列值;如果设置为FALSE,那么相当于INNER JOIN命令,返回的结果集只保留匹配成功的数据行;如果设置为TRUE,那么相当于FULL JOIN,保留x和y中不匹配的数据行,并把不匹配的列值设置为NA;
  • all.x,all.y:分别设置x和y是否保留列值;如果设置all.x=TRUE,all.y=FALSE,那么相当于LEFT JOIN命令,返回的结果集只保留x对象的数据行,不匹配的y对象的数据行行的列值设置为NA;如果设置为all.x=FALSE,all.y=TRUE,那么相当于RIGHT JOIN命令,返回的结果集只保留y对象的数据行,不匹配的x对象的数据行行的列值设置为NA。
  • sort:返回的结果集是否排序,排序列是by参数的对象
  • suffixes:后缀名,默认值是c(".x",".y"),当合并的两个对象拥有相同的列名时,R把相同的列名后面加上该后缀名,以唯一区分结果集的列名;
  • incomparables:不能匹配的值

2,向数据框中添加行

使用rbind()函数,根据行进行合并,向数据框中添加数据行,相当于关系型数据库的求求并集。要求两个数据库必须拥有相同名称的变量,而变量的顺序可以不同。

八,选取子集

1,选择变量

从一个数据框中选择有限数量的变量,数据框中的元素是通过dataframe[rows_vector , colunms_vector],如果不设置行的下标(,),表示选择所有行,

mydata <- mydata[,c(col,,...)]

2,剔除变量

把特定的变量剔除,只选入剩余的变量。操作符 %in% 返回逻辑型向量,用法是:

  1. 用法 a %in% table
  2. a值是否包含于table中,为真时输出TURE,为假时输出FALSE

例如,mydata有四个变量c1,c2,c3,c4,myvars的结果是c(TRUE,FALSE,TRUE,FALSE),对该变量求非(!myvars)之后是 c(FALSE,TRUE,FALSE,TRUE),在根据数据框的下标来选入特定的变量。

myvars <- names(mydata) %in% c("c1","c3")
mydata <- mydata[!myvars]

3,选入观测

选入观测,可以根据观测的序号来选择,也可以根据特定的条件来选择:

mydata <- mydata[:,,...]
mydata <- mydata[mydata$c1<= & mydata$c2>=20,,...]

还有一个函数which,也能用于选入观测:

which(x, arr.ind = FALSE, useNames = TRUE)

which函数返回的是逻辑值的向量,which()函数的用法是:用法which(test),返回test为真值的位置(指针)。

4,根据条件选择子集

subset()函数是选择数据库的变量和观测最简单的方法,

mydata <- subset(mydata, c1<= & c2>=, select=c("c1","c2",,,))

subset()函数的语法是:

subset(x, subset, select, drop = FALSE)

参数注释:

  • x:数据框对象
  • subset:该参数是逻辑表达式,对于数据框而言,该参数作用于数据行,用于选择数据行,其中,等于使用双等号(==)表示;
  • select:要选择的变量构成的向量
  • drop:逻辑值,要剔除的变量构成的向量

参考文档:

R Document

XE2:查看Extended Events收集的数据的更多相关文章

  1. SQL Server Extended Events 进阶 1:从SQL Trace 到Extended Events

    http://www.sqlservercentral.com/articles/Stairway+Series/134869/ SQL server 2008 中引入了Extended Events ...

  2. SQL Server Extended Events 进阶 3:使用Extended Events UI

    开始采用Extended Events 最大的阻碍之一是需要使用Xquery和XML知识用来分析数据.创建和运行会话可以用T-SQL完成,但是无论使用什么目标,数据都会被转换为XML.这个限制在SQL ...

  3. SQL Server Extended Events 进阶 2:使用UI创建基本的事件会话

    第一阶中我们描述了如何在Profiler中自定义一个Trace,并且让它运行在服务器端来创建一个Trace文件.然后我们通过Jonathan Kehayias的 sp_SQLskills_Conver ...

  4. XE1:使用SSMS创建Extended Events

    Extended Events 用于取代SQL trace,是SQL Server 追踪系统运行的神器,其创建过程十分简单. 一,创建Extended Events的Session step1,打开N ...

  5. Windows 事件查看器(收集)

    原文:Windows 事件查看器(收集) 事件查看器相当于一本厚厚的系统日志,可以查看关于硬件.软件和系统问题的信息,也可以监视 Windows 的安全事件 提示:除了可以在"控制面板→管理 ...

  6. turbine是怎么收集指标数据的

    turbine是怎么收集指标数据的 我们通过spring cloud图形化dashboard是如何实现指标的收集展示的知道了,图形化的指标是从turbine获取到指标数据的.那么turbine的数据是 ...

  7. 利用闪回查看Oracle表历史时刻数据

    利用闪回查看Oracle表历史时刻数据 1.查看表历史时刻数据 select * from tab_test AS OF TIMESTAMP to_timestamp('20140917 10:00: ...

  8. Oracle查看表空间及修改数据文件大小

    Oracle查看表空间及修改数据文件大小 第一步:查看所有表空间及表空间大小: select tablespace_name ,sum(bytes) / 1024 / 1024 as MB from ...

  9. JMeter 查看结果树监听器响应数据中文显示乱码解决方法

    查看结果树监听器响应数据中文显示乱码解决方法 by:授客 QQ:1033553122   问题描述 使用监听器-查看结果树(View Results Tree Listener)过程中发现,响应数据面 ...

随机推荐

  1. centos yum换阿里云源

    阿里云Linux安装软件镜像源 阿里云是最近新出的一个镜像源.得益与阿里云的高速发展,这么大的需求,肯定会推出自己的镜像源. 阿里云Linux安装镜像源地址:http://mirrors.aliyun ...

  2. java-并发-高级并发对象2

    浏览以下内容前,请点击并阅读 声明 并发集合 java.util.concurrent包包含了许多对于java集合框架的补充,根据提供的接口可以将这些集合分为以下几类: BlockingQueue 定 ...

  3. Django 1.7 throws django.core.exceptions.AppRegistryNotReady: Models aren't loaded yet

    在程序中要添加django.setup() 整个程序如下所示 import os import django def populate(): python_cat = add_cat('Python' ...

  4. 我的前端故事----疯狂倒计时(requestAnimationFrame)

    很久没有更新博客了...为了双十一准备了不少活动,终于结束了,有时间静静的坐下来总结一下了,在活动中最常用的就是倒计时了,晚上也有很多倒计时的例子了,那么今天带来的是一个新的方法和思路. 既然要介绍新 ...

  5. Qt下的udp编程

    项目需要一个基于udp的客户端, 看着Qt是有个QUdpSocket的类的, 但自带的例子和类的说明都没咋说明白: 怎么用一个QUdpSocket既当发送端, 又当接收端? 谷歌一顿后, 发现很多老内 ...

  6. jquery 获取奇数索引的元素

    $(".btn-xs:odd").click(function(){ var $buy_num=$(this).prev("#buy_num").val(); ...

  7. 解决python编码格式错误问题

    一:前言 遇到问题:print输入汉字时提示错误信息 UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: o ...

  8. c# http get请求与post请求实例

    //http请求工具类 using System;using System.Collections.Generic;using System.IO;using System.Linq;using Sy ...

  9. Spring AOP实例——异常处理和记录程序执行时间

    实例简介: 这个实例主要用于在一个系统的所有方法执行过程中出线异常时,把异常信息都记录下来,另外记录每个方法的执行时间. 用两个业务逻辑来说明上述功能,这两个业务逻辑首先使用Spring AOP的自动 ...

  10. hadoop生态圈介绍

    原文地址:大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍   1. hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用户可以在不了解分 ...