每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 笔者寄语:缺失值是数据清洗过程中非常重要的问题(其他方法可见:R语言︱异常值检验.离群点分析.异常值处理),笔者在进行mice包的多重插补过程中遇到相当多的问题. 大致的步骤简介如下: 缺失数据集--MCMC估计插补成几个数据集--每个数据集进行插补建模(glm.lm模型)--将这些模型整合到一起(pool)--评价插补模型优劣(模型系数的t统

R语言中的数据处理包dplyr.tidyr笔记   dplyr包是Hadley Wickham的新作,主要用于数据清洗和整理,该包专注dataframe数据格式,从而大幅提高了数据处理速度,并且提供了与其它数据库的接口:tidyr包的作者是Hadley Wickham, 该包用于“tidy”你的数据,这个包常跟dplyr结合使用. 本文将介绍dplyr包的下述五个函数用法: 筛选: filter() 排列: arrange() 选择: select() 变形: mutate() 汇总: summ

安装R语言中的外部包时,出现错误提示 试开URL’https://mirrors.tuna.tsinghua.edu.cn/CRAN/bin/windows/contrib/3.3/ggplot2_2.2.1.zip'Content type 'application/zip' length 2760467 bytes (2.6 MB)downloaded 2.6 MB 程序包‘ggplot2’打开成功,MD5和检查也通过Warning: 无法将临时安装‘D:\work\software_lis

R语言中的机器学习包   Machine Learning & Statistical Learning (机器学习 & 统计学习)  网址:http://cran.r-project.org/web/views/MachineLearning.html维护人员:Torsten Hothorn  版本:2008-02-18 18:19:21  翻译:R-fox, 2008-03-18 机器学习是计算机科学和统计学的边缘交叉领域,R关于机器学习的包主要包括以下几个方面:   1)神经网络(N

R语言—如何安装Github包的解决方法,亲测有效 准备安装材料: R包-REmap GitHub下载地址:https://github.com/lchiffon/REmap R包-baidumap GitHub下载地址:https://github.com/badbye/baidumap 准备环境条件: #方法一:在线安装 install.packages("devtools") install.packages("rJava") library(rJava) l

R语言:关于rJava包的安装  盐池里的萝卜 2014-09-14 00:53:33 在做文本挖掘的时候,会发现分词时候rJava是必须要迈过去的坎儿,所以进行了总结: 第一步:安装rJava和jdk install.packages("rJava") JDK: D:\jdk R: D:\spss 21\R-3.0.1 1.配置好java 2.配置rJava 第二步:设置环境变量 ,涉及java调用R(我的电脑右键-属性-高级设置-环境变量) CLASSPATH=D:\spss 21

一.一些函数包大汇总 转载于:http://www.dataguru.cn/thread-116761-1-1.html 时间上有点过期,下面的资料供大家参考基本的R包已经实现了传统多元统计的很多功能,然而CRNA的许多其它包提供了更深入的多元统计方法,下面要综述的包主要分为以下几个部分: 1) 多元数据可视化(Visualising multivariate data): 绘图方法: 基本画图函数(如:pairs().coplot())和 lattice包里的画图函数(xyplot().spl

dplyr包是Hadley Wickham的新作,主要用于数据清洗和整理,该包专注dataframe数据格式,从而大幅提高了数据处理速度,并且提供了与其它数据库的接口:tidyr包的作者是Hadley Wickham, 该包用于“tidy”你的数据,这个包常跟dplyr结合使用. dplyr.tidyr包安装及载入 install.packages("dplyr") install.packages("tidyr") library(dplyr) library(t

R语言在进行数据库查询时,每执行一条语句,都会阻塞.直到查询语句返回结果之后,才会进行下一条语句. 为了能够实现同时对多个数据库进行查询,以节省顺序执行下来的时间,首先考虑通过多线程来进行数据库查询. 不过多数据库同时查询,多个结果合并起来过大的话,本地机器的内存可能是一个风险点,心里要对可能需要的内存有所把握. R下进行多线程依赖与doParallel包和foreach包. > install.packages('doParallel') > install.packages('foreac

在大数据如火如荼的时候,机器学习无疑成为了炙手可热的工具,机器学习是计算机科学和统计学的交叉学科, 旨在通过收集和分析数据的基础上,建立一系列的算法,模型对实际问题进行预测或分类. R语言无疑为我们提供了很好的工具,它正是计算机科学和统计科学结合的产物,开源免费, 相对于Python.Orange Canvas.Weka.Kinme这些免费的数据挖掘软件来说,更容易上手,统计图形也更加美观. 今天在这里和大家介绍一下Caret机器学习包的一些基本用法.   一.数据收集       下载kern

recommend li_volleyball 2016年3月20日 library(recommenderlab) library(ggplot2) # data(MovieLense) dim(MovieLense) ## [1] 943 1664 MovieLense ## 943 x 1664 rating matrix of class 'realRatingMatrix' with 99392 ratings. image(sample(MovieLense,500),main="R

0 引言 对于一些数据集,不可避免的出现缺失值.对缺失值的处理非常重要,它是我们能否继续进行数据分析的关键,也是能否继续大数据分析的数据基础. 1 缺失值分类 在对缺失数据进行处理前,了解数据缺失的机制和形式是十分必要的.将数据集中不含缺失值的变量称为完全变量,数据集中含有缺失值的变量称为不完全变量.从缺失的分布来将缺失可以分为完全随机缺失,随机缺失和完全非随机缺失. 完全随机缺失(missing completely at random,MCAR):指的是数据的缺失是完全随机的,不依赖于任何不

mean(!is.na(mat))可以计算数据完整度(没有缺失值的) mean(!is.na(mat))>0.9,90%完整可以使用 # 缺失值的位置研究as.vector(attributes(na.omit(mat))$na.action) which(rowSums(is.na(mat))!=0) which(complete.cases(mat)==F) # 缺失数据的图形可视化VIM包 library(VIM) aggr(mat,numbers=T,prop= F) matrixplo

#缺失值 an=c(1,2,NA) is.na(an) #会形成一个布尔向量 布尔向量就是一群像(FALSE,FALSE,TURE)这样的向量. 关于缺失值还有一个函数:complete.cases函数 该函数与is.na的区别在于: 1.输出数据格式不同.is.na按照数据框格式形成一个(FALSE,FALSE,TURE)列,而complete.cases形成是一个数列向量,不再是按照数据框格式: 2.输出数据内容不同.complete.cases输出的逻辑向量与is.na正好相反,is.na

在R语言中,常需要看哪个包加载了或是看多个相似功能的包,看到底是哪个包在起作用,通过加载和卸除后进行运行比较分析. 1.查看已加载的包 >(.packages()) 注意外面的括号和前面的点不能省. 2.卸除已加载的包 如卸除RMySQL包 >detach("package:RMySQL") 注意是卸除,不是卸载,也就是说不是把包从R运行环境中彻底删除,只是不希望该包被加载使用. 在包使用函数冲突,检验函数依赖时比较有用. 3.安装包 >install.package

dummyVars函数:dummyVars creates a full set of dummy variables (i.e. less than full rank parameterization----建立一套完整的虚拟变量 先举一个简单的例子: survey<-data.frame(service=c("very unhappy","unhappy","neutral","happy","very

Rvest 包中常用函数一览: 函数 作用 read_html() 读取 html 页面 html_nodes() 提取所有符合条件的节点 html_node() 返回一个变量长度相等的list,相当于对html_nodes()取[[1]]操作 html_table() 获取 table 标签中的表格,默认参数trim=T,设置header=T可以包含表头,返回数据框 html_text() 提取标签包含的文本,令参数trim=T,可以去除首尾的空格 html_attrs(nodes) 提取指定

向量 euro    #欧元汇率,长度为11,每个元素都有命名 landmasses    #48个陆地的面积,每个都有命名 precip    #长度为70的命名向量 rivers    #北美141条河流长度 state.abb    #美国50个州的双字母缩写 state.area    #美国50个州的面积 state.name    #美国50个州的全称 因子 state.division    #美国50个州的分类,9个类别 state.region    #美国50个州的地理分类

问题描述 在国内因为镜像的原因,直接使用:install.packages("plyr")往往无法成功添加安装包 解决办法 使用国内镜像进行安装,添加repo参数,参考如下: install.packages("plyr",repo="https://mirrors.tuna.tsinghua.edu.cn/CRAN/") #使用清华大学的镜像库 常用镜像库地址

library(parallel)#example 1cl <- makeCluster(getOption("cl.cores", 2))clusterApply(cl, c(9,5), get("+"),1)   #加 parSapply(cl, c(9,5), get("+"), 3)  stopCluster(cl) #example 2xx <- 1cl <- makeCluster(getOption("c