RHadoop计算平台搭建
原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3824554.html
本文基于CentOS6.4系统介绍基于RHadoop平台的搭建,Hadoop的搭建可以参考http://www.cnblogs.com/tovin/p/3818908.html,以下着重介绍在Hadoop平台上构建R
一、安装R
(1)安装依赖软件
sudo yum install gcc-gfortran
sudo yum install gcc gcc-c++
sudo yum install readline-devel
sudo yum install libXt-devel
(2)安装R包
cd /home/hdp/download
wget http://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.1.0.tar.gz
tar zxvf R-3.1.0.tar.gz
cd R-3.1.0
./configure --enable-R-shlib
sudo make
sudo make install
把R、Rscript加入环境变量
sudo ln -s /usr/local/bin/Rscript /usr/bin/Rscript
sudo ln -s /usr/local/bin/R /usr/bin/R
在linux终端输入R,如果启动正常则表明安装成功
二、安装RStudio
为了更方便把RHadoop提供给开发人员使用,可以使用基于Web操作的RStudio来操作R
cd /home/hdp/download
wget http://download2.rstudio.org/rstudio-server-0.98.953-x86_64.rpm
sudo yum install libcrypto.so.6
sudo yum install libgfortran.so.1
sudo yum install libssl.so.6
sudo yum install openssl098e-0.9.8e
sudo yum install gcc41-libgfortran-4.1.2
sudo yum install pango-1.28.1
sudo yum install compat-libgfortran
cd /etc/ld.so.conf.d/
sudo vim rstudio.conf添加内容
/usr/local/lib64/R/lib
再执行sudo ldconfig将下面几个so库加入系统库
sudo rpm -Uvh --nodeps rstudio-server-0.98.953-x86_64.rpm
至此rstudio安装完成并启动,运行rstudio-server verify-installation
看是否会报错
最后,可以进入/etc/rstudio目录修改rserver.conf配置文件添加登录权限管理
auth-required-usr-group是针对设置的组才能登录系统。注意:rstudio用户是和linux本地帐号一致的,对于ldap用户是不支持的。
访问8787端口就能进入rstudio web界面了:
三、安装RHadoop
1、下载rmr、rhdfs
进入https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads下载rmr、rhdfs包
2、安装rmr、rhdfs
cmd执行命令行执行:
R CMD javareconf
启动R执行:
install.packages("rJava")
install.packages("reshape2")
install.packages("Rcpp")
install.packages("iterators")
install.packages("itertools")
install.packages("digest")
install.packages("RJSONIO")
install.packages("functional")
cmd执行命令行执行:
R CMD INSTALL rhdfs-1.0.8
.tar.gz
R CMD INSTALL rmr-3.1.2.tar.gz
3、修改环境变量
cd /usr/local/lib64/R/etc
修改Renviron文件增加HADOOP_CMD、HADOOP_STREAMING环境变量,这步很关键不然RStudio会报错获取不到HADOOP环境变量
4、部署DataNode
将/usr/local/lib64/R目录下所有文件传至所有DataNode节点相同位置
sudo cp /usr/local/lib64/R/bin/R /usr/local/bin/
sudo cp /usr/local/lib64/R/bin/Rscript /usr/local/bin/
至此完成了RHadoop平台部署
四、测试验证
访问Rstudio web验证一下rhdfs、rmr2的功能
1、hdfs功能验证
2、mapreduce功能验证
安装部署成功,收工!
原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3824554.html
RHadoop计算平台搭建的更多相关文章
- 从零构建Flink SQL计算平台 - 1平台搭建
一.理想与现实 Apache Flink 是一个分布式流批一体化的开源平台.Flink 的核心是一个提供数据分发.通信以及自动容错的流计算引擎.Flink 在流计算之上构建批处理,并且原生的支持迭代计 ...
- Storm on Yarn :原理分析+平台搭建
Storm on YARN: Storm on YARN被视为大规模Web应用与传统企业应用之间的桥梁.它将Storm事件处理平台与YARN(Yet Another Resource Negotiat ...
- 大数据平台搭建-zookeeper集群的搭建
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...
- 大数据平台搭建-kafka集群的搭建
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...
- 携程实时计算平台架构与实践丨DataPipeline
文 | 潘国庆 携程大数据平台实时计算平台负责人 本文主要从携程大数据平台概况.架构设计及实现.在实现当中踩坑及填坑的过程.实时计算领域详细的应用场景,以及未来规划五个方面阐述携程实时计算平台架构与实 ...
- 克拉克拉(KilaKila):大规模实时计算平台架构实战
克拉克拉(KilaKila):大规模实时计算平台架构实战 一.产品背景:克拉克拉(KilaKila)是国内专注二次元.主打年轻用户的娱乐互动内容社区软件.KilaKila推出互动语音直播.短视频配音. ...
- 手把手教您将 libreoffice 移植到函数计算平台
LibreOffice 是由文档基金会开发的自由及开放源代码的办公室套件.LibreOffice 套件包含文字处理器.电子表格.演示文稿程序.矢量图形编辑器和图表工具.数据库管理程序及创建和编辑数学公 ...
- 大数据计算平台Spark内核全面解读
1.Spark介绍 Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台,在2010年开源,目前是Apache软件基金会的顶级项目.随着Spark在大数据计算领域的暂露头角,越来越多的 ...
- 一个简单的使用Quartz和Oozie调度作业给大数据计算平台执行
一,介绍 Oozie是一个基于Hadoop的工作流调度器,它可以通过Oozie Client 以编程的形式提交不同类型的作业,如MapReduce作业和Spark作业给底层的计算平台(如 Cloude ...
随机推荐
- UIToolbar swift
// // ViewController.swift // UILabelTest // // Created by mac on 15/6/23. // Copyright (c) 2015年 fa ...
- DES,3DES,AES这三种对称密钥的区别与联系
DES:Data Encryption Standard(数据加密标准,又美国国密局,选中的IBM的方案,密钥长度为56,标准提出是要使用64位长的密钥,但是实际中DES算法只用了64位中的56位密钥 ...
- cocos中常用到的单例模式
单例:即只有一个类对象,且提供全局的访问权限 特点: 1.构造函数私有 2.私有的静态成员指针,标识是否已产生了单例实例 3.提供一个getInstance()方法来获取单例对象 下面已打飞机中的子弹 ...
- Think in java备忘录
1..new在内部类中的使用 .new可以用使用外部类对象创建一个内部类,对象 DotNew.java package com.gxf.innerclass; public class DotNew ...
- C# 把引用的dll嵌入到exe文件中
当发布的程序有引用其它dll, 又只想发布一个exe时就需要把dll打包到exe 当然有多种方法可以打包, 比如微软的ILMerge,混淆器附带的打包... 用代码打包的实现方式也有很好,本文只是其中 ...
- PSP记录表
学生 崔乐乐 日期 2015/3/15 教师 王建民 课程 软件工程 周活动总结表 任务 日期 听课 写程序 ...
- char,wchar_t,WCHAR,TCHAR,ACHAR的区别----LPCTSTR
转自http://blog.chinaunix.net/uid-7608308-id-2048125.html 简介:这是DWORD及LPCTSTR类型的了解的详细页面,介绍了和类,有关的知识,加入收 ...
- timersmanager 解析
最近在看crtmp源代码,看到timersmanager 模块时感觉很难理解,花了不少时间反复思考该模块 的逻辑,现在思考的结果记录下来,方便以后查阅. 构造函数中将处理时间方法传进来,将_lastT ...
- .Net自带的委托类型—Func,Action 和 Predicate
委托是一个类,它定义了方法的类型,使得可以将方法当作另一个方法的参数来进行传递. 与其他的类不同,委托类具有一个签名,并且它只能对与其签名匹配的方法进行引用. 一.自定义委托类型 1.语法结构:访问修 ...
- short-path problem (Floyd) 分类: ACM TYPE 2014-09-01 23:58 100人阅读 评论(0) 收藏
#include <cstdio> #include <iostream> #include <cstring> using namespace std; cons ...