一、日期时间、字符串的处理

日期

Date: 日期类,年与日

POSIXct: 日期时间类,精确到秒,用数字表示

POSIXlt: 日期时间类,精确到秒,用列表表示

Sys.date(), date(), difftime(), ISOdate(), ISOdatetime()

  1. #得到当前日期时间
  2. (d1=Sys.Date()) #日期 年月日
  3. (d3=Sys.time()) #时间 年月日时分秒 通过format输出指定格式的时间
  4. (d2=date()) #日期和时间 年月日时分秒 "Fri Aug 20 11:11:00 1999"
  5.  
  6. myDate=as.Date('2007-08-09')
  7. class(myDate) #Date
  8. mode(myDate) #numeric
  9.  
  10. #日期转字符串
  11. as.character(myDate)
  12.  
  13. birDay=c('01/05/1986','08/11/1976') #
  14. dates=as.Date(birDay,'%m/%d/%Y') #向量化运算,对向量进行转换
  15. dates
  16.  
  17. # %d 天 (01~31)
  18. # %a 缩写星期(Mon)
  19. # %A 星期(Monday)
  20. # %m 月份(00~12)
  21. # %b 缩写的月份(Jan)
  22. # %B 月份(January)
  23. # %y 年份(07)
  24. # %Y 年份(2007)
  25. # %H 时
  26. # %M 分
  27. # %S 秒
  28.  
  29. td=Sys.Date()
  30. format(td,format='%B %d %Y %s')
  31. format(td,format='%A,%a ')
  32. format(Sys.time(), '%H %h %M %S %s')
  33.  
  34. #日期转换成数字
  35. as.integer(Sys.Date()) #自1970年1月1号至今的天数
  36. as.integer(as.Date('1970-1-1')) #
  37. as.integer(as.Date('1970-1-2')) #
  38.  
  39. sdate=as.Date('2004-10-01')
  40. edate=as.Date('2010-10-22')
  41. days=edate-sdate
  42. days #时间类型相互减,结果显示相差的天数
  43.  
  44. ws=difftime(Sys.Date(),as.Date('1956-10-12'),units='weeks') #可以指定单位
  45.  
  46. #把年月日拼成日期
  47. (d=ISOdate(,,));class(d) #ISOdate 的结果是POSIXct
  48. as.Date(ISOdate(,,)) #将结果转换为Date
  49.  
  50. ISOdate(,,) #不存在的日期 结果为NA
  51.  
  52. #批量转换成日期
  53. years=c(,,,,,)
  54. months=
  55. days=c(,,,,,)
  56.  
  57. as.Date(ISOdate(years,months,days))
  58.  
  59. #提取日期时间的一部分
  60. p=as.POSIXlt(Sys.Date())
  61. p=as.POSIXlt(Sys.time())
  62. Sys.Date()
  63. Sys.time()
  64. p$year + #年份需要加1900
  65. p$mon + #月份需要加1
  66. p$mday
  67.  
  68. p$hour
  69. p$min
  70. p$sec

字符串处理

nchar() 、length()

paste()、outer()
substr()、strsplit()
sub()、gsub()、grep()、regexpr()、grepexpr()

  1. #字符串
  2. x='hello\rwold\n'
  3.  
  4. cat(x) #woldo hello遇到\r光标移到头接着打印wold覆盖了之前的hell变成woldo
  5. print(x) #
  6. #字符串长度
  7. nchar(x) #字符串长度
  8. length(x) #1 向量中元素的个数
  9.  
  10. #字符串拼接
  11. board=paste('b',:,sep='-') #"b-1" "b-2" "b-3" "b-4"
  12. board
  13.  
  14. mm=paste('mm',:,sep='-') #"mm-1" "mm-2" "mm-3"
  15. mm
  16.  
  17. outer(board,mm,paste,sep=':') #向量的外积
  18. #[,1] [,2] [,3]
  19. #[1,] "b-1:mm-1" "b-1:mm-2" "b-1:mm-3"
  20. #[2,] "b-2:mm-1" "b-2:mm-2" "b-2:mm-3"
  21. #[3,] "b-3:mm-1" "b-3:mm-2" "b-3:mm-3"
  22. #[4,] "b-4:mm-1" "b-4:mm-2" "b-4:mm-3"
  23.  
  24. #拆分提取
  25. board
  26. substr(board,,) #子串
  27. strsplit(board,'-',fixed=T) #拆分
  28.  
  29. #修改
  30. sub('-','.',board,fixed=T) #修改指定字符
  31. board
  32. mm #"mm-1" "mm-2" "mm-3"
  33. sub('m','p',mm) #替换第一个匹配项 "pm-1" "pm-2" "pm-3"
  34. gsub('m','p',mm) #替换全部匹配项 "pp-1" "pp-2" "pp-3"
  35.  
  36. #查找
  37. mm=c(mm, 'mm4') #"mm-1" "mm-2" "mm-3" "mm4"
  38. mm
  39. grep('-',mm) #1 2 3 向量中1,2,3包含'-'
  40.  
  41. regexpr('-',mm) #匹配成功会返回位置信息,没有找到则返回-1

二、数据预处理

保证数据质量

准确性
完整性
一致性
冗余性
时效性

...

1、提取有效数据,需要业务人员配合(主观),及相关的技术手段保障

2、了解数据定义,统一对数据定义的理解

...

数据集成 : 对多数据源进行整合
数据转换 :
数据清洗 : 异常数据,缺失数据
数据约简 : 提炼,行,列

三、数据集成

通过merge对数据进行集成

  1. #数据集成
  2. #merge pylr::join (包::函数)
  3. (customer = data.frame(Id=c(:),State=c(rep("北京",),rep("上海",))))
  4. (ol = data.frame(Id=c(,,,),Product=c('IPhone','Vixo','mi','Note2')))
  5.  
  6. merge(customer,ol,by=('Id')) #inner join
  7. merge(customer,ol,by=('Id'),all=T) # full join
  8. merge(customer,ol,by=('Id'),all.x=T) # left outer join 左链接,左边数据都在
  9. merge(customer,ol,by=('Id'),all.y=T) # right outer join 右链接,右边数据都在
  10.  
  11. #union 去重 在df1 和df2 有相同的列名称下 
  12. (df1=data.frame(id=seq(,by=,length=),name=paste('Zhang',seq(,by=,length=))))
  13. (df2=data.frame(id=seq(,by=,length=),name=paste('Zhang',seq(,by=,length=))))
  14.  
  15. rbind(df1,df2)
  16.  
  17. merge(df1,df2,all=T) #去重,不使用by
  18.  
  19. merge(df1,df2,by=('id')) #重名的列会被更改显示

四、数据转换

构造属性
规范化(极差化、标准化)
离散化
改善分布

R语言--数据预处理的更多相关文章

  1. R语言数据预处理

    R语言数据预处理 一.日期时间.字符串的处理 日期 Date: 日期类,年与日 POSIXct: 日期时间类,精确到秒,用数字表示 POSIXlt: 日期时间类,精确到秒,用列表表示 Sys.date ...

  2. R语言数据接口

    R语言数据接口 R语言处理的数据一般从外部导入,因此需要数据接口来读取各种格式化的数据 CSV # 获得data是一个数据帧 data = read.csv("input.csv" ...

  3. R语言数据的导入与导出

    1.R数据的保存与加载 可通过save()函数保存为.Rdata文件,通过load()函数将数据加载到R中. > a <- 1:10 > save(a,file='d://data/ ...

  4. R语言 数据重塑

    R语言数据重塑 R语言中的数据重塑是关于改变数据被组织成行和列的方式. 大多数时间R语言中的数据处理是通过将输入数据作为数据帧来完成的. 很容易从数据帧的行和列中提取数据,但是在某些情况下,我们需要的 ...

  5. 最棒的7种R语言数据可视化

    最棒的7种R语言数据可视化 随着数据量不断增加,抛开可视化技术讲故事是不可能的.数据可视化是一门将数字转化为有用知识的艺术. R语言编程提供一套建立可视化和展现数据的内置函数和库,让你学习这门艺术.在 ...

  6. 第六篇:R语言数据可视化之数据分布图(直方图、密度曲线、箱线图、等高线、2D密度图)

    数据分布图简介 中医上讲看病四诊法为:望闻问切.而数据分析师分析数据的过程也有点相似,我们需要望:看看数据长什么样:闻:仔细分析数据是否合理:问:针对前两步工作搜集到的问题与业务方交流:切:结合业务方 ...

  7. 第三篇:R语言数据可视化之条形图

    条形图简介 数据可视化中,最常用的图非条形图莫属,它主要用来展示不同分类(横轴)下某个数值型变量(纵轴)的取值.其中有两点要重点注意: 1. 条形图横轴上的数据是离散而非连续的.比如想展示两商品的价格 ...

  8. 第五篇:R语言数据可视化之散点图

    散点图简介 散点图通常是用来表述两个连续变量之间的关系,图中的每个点表示目标数据集中的每个样本. 同时散点图中常常还会拟合一些直线,以用来表示某些模型. 绘制基本散点图 本例选用如下测试数据集: 绘制 ...

  9. 第四篇:R语言数据可视化之折线图、堆积图、堆积面积图

    折线图简介 折线图通常用来对两个连续变量的依存关系进行可视化,其中横轴很多时候是时间轴. 但横轴也不一定是连续型变量,可以是有序的离散型变量. 绘制基本折线图 本例选用如下测试数据集: 绘制方法是首先 ...

随机推荐

  1. Spring中的ApplicationContext事件机制

    ApplicationContext的事件机制是观察者设计模式的实现,通过ApplicationEvent类和ApplicationListerner接口来实现. 1. 创建EmailEvent pu ...

  2. STM32F1和STM32F4 区别

    STM32F4相对于STM32F1的改进不只一点点,为了便于初学者了解,我们比对相关资料将改进点进行了汇总. STM32F1和STM32F4 区别   (安富莱整理)u  F1采用Crotex M3内 ...

  3. Rabbitmq集群高可用测试

    Rabbitmq集群高可用 RabbitMQ是用erlang开发的,集群非常方便,因为erlang天生就是一门分布式语言,但其本身并不支持负载均衡. Rabbit模式大概分为以下三种:单一模式.普通模 ...

  4. python---hashlib

    简介 用于加密相关的操作,代替了md5模块和sha模块,主要提供SHA1,SHA224,SHA256,SHA384,SHA512,MD5算法. 在python3中已经废弃了md5和sha模块,简单说明 ...

  5. linux gcc头文件搜索路径

    #include <>: 直接到系统指定的某些目录中去找某些头文件.#include "": 先到源文件所在文件夹去找,然后再到系统指定的某些目录中去找某些头文件 1. ...

  6. nodejs初探(四)实现一个多人聊天室

    我们实现的思路是,当有一个人发送过来消息,我们就广播给其他客户端. var net = require('net'); var chatServer = net.createServer(), cli ...

  7. nodejs初探(一)环境搭建,开发工具安装

    简介 JavaScript是一种运行在浏览器的脚本,它简单,轻巧,易于编辑,这种脚本通常用于浏览器的前端编程,但是一位开发者Ryan有一天发现这种前端式的脚本语言可以运行在服务器上的时候,一场席卷全球 ...

  8. KVO/KVC 实现机理分析

    来源:http://blog.csdn.net/dqjyong/article/details/7672865 Objective-C里面的Key-Value Observing (KVO)机制,非常 ...

  9. (String)151. Reverse Words in a String

    Given an input string, reverse the string word by word. For example,Given s = "the sky is blue& ...

  10. ORA-27092: size of file exceeds file size limit of the process

    停数据库时遇到下述问题: $ ./addbctl.sh stop You are running addbctl.sh version 120.1 Shutting down database UAT ...