CentOS6.5安装RHadoop
1、首先安装依赖包(各个节点都要安装)
[root@Hadoop-NN-01 ~]$ yum install gcc-gfortran
#否则报”configure: error: No F77 compiler found”错误 [root@Hadoop-NN-01 ~]$ yum install gcc gcc-c++
#否则报”configure: error: C++ preprocessor “/lib/cpp” fails sanity check”错误 [root@Hadoop-NN-01 ~]$ yum install readline-devel
#否则报”–with-readline=yes (default) and headers/libs are not available”错误 [root@Hadoop-NN-01 ~]$ yum install libXt-devel
#否则报”configure: error: –with-x=yes (default) and X11 headers/libs are not available”错误
2、下载RHadoop相关软件包
R-3.2.5.tar.gz #https://cran.rstudio.com/src/base/R-3/
rmr-3.3.1 #https://github.com/RevolutionAnalytics/rmr2
rhdfs-1.0.8
rhbase-1.2.1 #以上软件下载地址:https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads
rJava
reshape2
Rcpp
iterators
itertools
digest
RJSONIO
functional
bitops
stringr
plyr
caTools
Rserve #以上软件下载地址:http://cran.at.r-project.org/src/contrib/Archive/
Cairo #Linux下R的绘图软件:http://www.rforge.net/Cairo/files/
RStudio #https://www.rstudio.com/products/rstudio/download/
Thrift #https://thrift.apache.org/
3、安装R语言(各个节点都要安装)
[root@Hadoop-NN-01 mysofts]# tar zxf /mnt/mydisk/soft/R/R-3.2.5.tar.gz
[root@Hadoop-NN-01 mysofts]# cd R-3.2.5
[root@Hadoop-NN-01 R-3.2.5]# ./configure --prefix=/usr/local --disable-nls --enable-R-shlib #两个选项--disable-nls --enable-R-shlib是为RHive的安装座准备,如果不安装RHive可以省去。
[root@Hadoop-NN-01 R-3.2.5]# make
[root@Hadoop-NN-01 R-3.2.5]# make install
其中readline-devel、libXt-devel在编译R的时候需要,而--enable-R-shlib是安装R的共享库,在安装Rstudio需要。
4、确认Java环境变量
RHadoop依赖于rJava包,安装rJava前确认已经配置了Java环境变量,然后进行R对jvm建立连接。
root@Hadoop-NN-01 ~]# R CMD javareconf
5、安装相关的依赖包,确保RHadoop软件包能正常使用
[root@Hadoop-NN-01 ~]# R
> install.packages("rJava")
> install.packages("reshape2")
> install.packages("Rcpp")
> install.packages("iterators")
> install.packages("itertools")
> install.packages("digest")
> install.packages("RJSONIO")
> install.packages("functional")
> install.packages("bitops")
> quit()
或者使用软件包安装:
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL rJava_0.9-8.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL Rcpp_0.12.3.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL plyr_1.8.1.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL stringr_0.6.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL reshape2_1.4.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL iterators_1.0.7.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL itertools_0.1-1.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL digest_0.6.8.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL RJSONIO_1.2-0.2.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL functional_0.4.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL bitops_1.0-5.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL caTools_1.17.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL Cairo_1.5-9.tar.gz
6、安装RHadoop软件包
首先将下面的变量加入到环境变量中:
[root@Hadoop-NN-01 ~]# vi /etc/profile
export HADOOP_CMD=/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/bin/hadoop
export HADOOP_STREAMING=/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.6.0.jar [root@Hadoop-NN-01 ~]# source /etc/profile #保存生效
安装
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL rhdfs_1.0.8.tar.gz
[root@Hadoop-NN-01 mysofts]# R CMD INSTALL rmr2_3.3.0.tar.gz #各个节点都要安装
7、使用RHadoop软件包
[root@Hadoop-NN-01 ~]# R
> library(rhdfs)
> hdfs.init()
> hdfs.ls("/")
如出现警告:
> hdfs.init()
16/05/10 10:58:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
需要在/etc/profile中设置环境变量JAVA_LIBRARY_PATH:
export JAVA_LIBRARY_PATH=/home/hadoopuser/hadoop-2.6.0-cdh5.6.0/lib/native
再将native下面的libhadoop.so.0 及 libhadoop.so.1.0.0拷贝到 /usr/lib64下面:
[root@Hadoop-NN-01 ~]# cp /home/hadoopuser/hadoop-2.6.0-cdh5.6.0/lib/native/libhadoop.so /usr/lib64/
[root@Hadoop-NN-01 ~]# cp /home/hadoopuser/hadoop-2.6.0-cdh5.6.0/lib/native/libhadoop.so.1.0.0 /usr/lib64/
8、安装Rstudio Server
下载地址:https://www.rstudio.com/products/rstudio/download-server/
[root@Hadoop-NN-01 mysofts]$ wget https://download2.rstudio.org/rstudio-server-rhel-0.99.902-x86_64.rpm #下载
[root@Hadoop-NN-01 mysofts]$ sudo yum install --nogpgcheck rstudio-server-rhel-0.99.902-x86_64.rpm #安装
[root@Hadoop-NN-01 mysofts]$ rstudio-server start #启动
报错:Unable to connect to Upstart: Failed to connect to socket /com/ubuntu/upstart: Connection refused
解决方案:
sudo dpkg-divert --local --rename --add /sbin/initctl
ln -s /bin/true /sbin/initctl
rstudio-server默认端口:8787
windows下访问:http://server-ip:8787
输入用户名、密码即可使用。
使用文档:https://support.rstudio.com/hc/en-us/articles/200552306-Getting-Started
配置RStudio Server(略)
9、Linux下运行R脚本
构建test.r脚本:
#!/usr/bin/Rscript
a<-c(1:20)
b<-rep(c(1:4),5)
c<-a/b
data<-data.frame(a,b,c)
write.table(data, file="/root/r_test", row.names=FALSE)
运行:
[root@Hadoop-NN-01 ~]# Rscript test.r
10、TIPS
A:R相关的软件包安装在/usr/local/lib64/R/library下,可以在该目录下查看是否已经安装了相应的软件包。
B:如果安装的时候不是用root身份安装,则R安装的软件包会在用户目录上,其他用户将使用不了软件包。
C:在安装rhbase软件需要安装thrift,在后面章节介绍。
CentOS6.5安装RHadoop的更多相关文章
- vmware Centos6.6安装64位
Centos6.6安装64位 必须开启BIOS中的虚拟化技术 首先开机进入BIOS,一般机器是按F2,我的T420是按F1,然后进入Security,Virtualization,选择Enable即可 ...
- Gitlab完美安装【CentOS6.5安装gitlab-6.9.2】
摘要: 拆腾了几天,终于在今天找到了快速安装Gitlab的方法.CentOS6.5安装gitlab-6.9.2 参考网址:https://gitlab.com/gitlab-org/omnibus-g ...
- CentOS6.5安装Tomcat
安装说明 安装环境:CentOS-6.4 安装方式:源码安装 软件:apache-tomcat-7.0.56.tar.gz 下载地址:http://tomcat.apache.org/download ...
- Centos6 yum安装openldap+phpldapadmin+TLS+双主配置
原文地址:http://54im.com/openldap/centos-6-yum-install-openldap-phpldapadmin-tls-%E5%8F%8C%E4%B8%BB%E9%8 ...
- centos6.5安装oracle11g_2
centos7安装oracle数据库不成功,换成centos6.5安装,可以安装成功,记录一下 安装系统时,主机名如果不是用localhost,安装成功后,要用主机名和ip做映射,修改/etc/hos ...
- CentOS6.6安装vmware workstation报错
本人系统用的是centos6.6,安装了vmware workstation,启动后一直如下图报错,相关内核已经安装了的,哪位前辈如果解决过这样的问题,麻烦指点指点,小弟在此先谢过了.
- CentOS6.6安装virtualbox4.1.44
本人用的是centos6.6,安装了virtualbox 4.1.44,启动后一直如上图报错,哪位前辈如果解决过这样的问题,麻烦指点指点,小弟在此先谢过了.
- [转]CentOS-6.3安装配置cmake
CentOS-6.3安装配置cmake zhoulf 2013-02-03 原创 安装说明 安装环境:CentOS-6.3安装方式:源码编译安装 软件:cmake-2.8.10.2.tar.gz下 ...
- 实战CENTOS6.5安装docker并创建asp.net mvc 5 镜像,运行MVC 网站
Docker,容器,让研发.测试.生产同一环境,可在linux平台上混合使用JAVA与net 程序 Centos6.5安装docker 参考http://my.oschina.net/kcw/blog ...
随机推荐
- 转载->C#事件的使用和讲解
C#事件的使用和讲解 事件的由来 在上一篇幅博客中http://www.cnblogs.com/JiYF/p/6867081.html 对委托讲解的比较细致 我们继续思考上面的程序:上面的三个方法都定 ...
- jQuery Sizzle选择器(三)
在Sizzle的入口方法Sizzle()中看到的一个根据浏览器来初始化document各个方法的函数setDocument(),接下来主要看一下这个方法都做了什么. 但之前有必要看一下它用到的一些Si ...
- vue比较模板来跟新数据
一,使用场景: 点击menu通过路由,跳转当前列表,第二次点击menu,希望可以刷新列表: 二,解决思路: 给路由添加时间戳: 三,参考观点: 用 :key管理可复用的元素 模板相同,会造成一种“复用 ...
- linux strace 命令详解
简介 strace常用来跟踪进程执行时的系统调用和所接收的信号. 在Linux世界,进程不能直接访问硬件设备,当进程需要访问硬件设备(比如读取磁盘文件,接收网络数据等等)时,必须由用户态模式切换至内核 ...
- cocos2d-x学习之旅(五):1.5 使用eclipse编译cocos2d-x示例项目,创建cocos2d-x android项目并部署到真机
今天将cocos2d-x的示例项目tests编译到android真机运行,以及如何创建cocos2d-x的android项目. 打开cocos2d-x的tests项目,路径为:D:\cocos2d-x ...
- SSH使用秘钥和别名登陆服务器
手工配置免密码及别名登陆 第一步:生成秘钥 $ ssh-keygen -t rsa 第二步:上传公钥到目标服务器 $ ssh-copy-id -i ~/.ssh/id_rsa.pub <romt ...
- Unix/Linux 查看文件大小
ls -l help.html-rw-r--r-- 1 william wheel 40960 Jul 18 00:59 development.sqlite3 40960 就是文件的大小. d ...
- Docker 容器管理:rancher
Rancher:https://www.cnrancher.com/ 是一个开源的企业级全栈化容器部署及管理平台. 定位上和 K8s 比较接近,都是通过 web 界面赋予完全的 docker 服务编排 ...
- TX失败策略2
自从有了人类,就有了智慧和精神.但总有一些思想家跳出来说人定胜天的理论,这是一种严重的误导.人类社会和自然界一样,遵守统一的自然定律.人就像不能改变物理定律一样改社会定律.更不可能因片面的社会现象遮盖 ...
- 富文本编辑器TinyMCE
最近项目中用到了javascript富文本编辑器,从网上找开源控件,发现很多可选,参考下面文章,列出了很多可用的插件http://www.cnblogs.com/ywqu/archive/2009/1 ...