Hadoop实战1:MapR在ubuntu集群中的安装
由于机器学习算法在处理大数据处理的时候在所难免的会效率降低,公司需要搭建hadoop集群,最后采用了商业版的Hadoop2(MapR)。
官网: http://doc.mapr.com/display/MapR/Installing+MapR+Software
一 前期有一些集群的准备工作:
请参考本人前几篇集群搭建的总结文档 及 官方文档 http://doc.mapr.com/display/MapR/Preparing+Each+Node
二 搭建MapR
1 创建本地仓库
1)root用户登陆,拥有最高权限
2)创建以下目录结构
~/mapr
.
├── dists
│ └── binary
│ └── optional
│ └── binary-amd64
└── mapr
3)下载两个文件到本地,url:注意替换相应的版本号: 本人使用的 v5.0.0
http://package.mapr.com/releases/v<version>/ubuntu/mapr-v<version>GA.deb.tgz
http://package.mapr.com/releases/ecosystem-5.x/ubuntu/mapr-ecosystem-5.x-<datestamp>.deb.tgz
文件共7G,比较大,网速好的时候下。并解压文件。
4)进入路径/root/mapr/
, 并创建文件 Packages.gz
dpkg-scanpackages . /dev/null | gzip -9c > ./dists/binary/optional/binary-amd64/Packages.gz
5)把路径 /root/mapr
下的所有文件移动到路径 /var/www
下。为了方便 Apache HTTP Server 发布。/html
2 安装 Apache HTTP Server
sudo apt-get apache2
验证安装成功:浏览器 http://127.0.0.1 显示欢迎页面
注意:apache 发布的文件默认路径在 /var/www/html
3 配置apt命令
1)配置文件/etc/apt/sources.list,增加下面的一行:
deb http://<host>/mapr binary optional
eg
deb http://10.4.45.249/mapr binary optional
本人的hostname是apm,在hostname表中配置,并且绑定静态ip,这些都是准备工作,可以查看本人前几篇文。
2)更新sources.list
文件:
apt-get update
4 安装mapr包的key:
wget -O - http://package.mapr.com/releases/pub/maprgpg.key | sudo apt-key add -
5 安装mapr的子模块:
apt-get install <package_name> <package_name> <package_name>
具体例:eq 安装mapr-fileserver mapr-tasktracker两个模块
apt-get install mapr-fileserver mapr-tasktracker
对应的安装自己需要的模块即可。
自动在本地下载这些依赖。
6 查看安装成功否
# ls -l /opt/mapr/roles
total
-rwxr-xr-x root root Aug : fileserver
-rwxr-xr-x root root Aug : tasktracker
-rwxr-xr-x root root Aug : webserver
-rwxr-xr-x root root Aug : zookeeper
说明 fileserver tasktracker webserver zookeeper 四个模块已经成功安装。
设置环境变量略,mapr的根目录在 /opt/mapr
插曲:开始本人使用联网下载方式安装这些模块,结果公司网络代理部给力,所以采用了本地的模式安装这个仓库。
若你也是这样,那一定要清空cache里的缓存,否则apt-get 的时候不会成功。
附录:各模块表,只参考YARN那一列 即可:
Hadoop实战1:MapR在ubuntu集群中的安装的更多相关文章
- Spark在集群中的安装
今天由于所以要安装spark做一些实验.我已有的环境是: 操作系统:CentOS6.5 hadoop:hadoop2.4.1 JDK:1.7 集群环境:四个节点 闲话不说,以下是我的安装步骤: 说 ...
- hadoop伪分布式集群搭建与安装(ubuntu系统)
1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链 ...
- Hadoop数据分析平台项目实战(基于CDH版本集群部署与安装)
1.Hadoop的主要应用场景: a.数据分析平台. b.推荐系统. c.业务系统的底层存储系统. d.业务监控系统. 2.开发环境:Linux集群(Centos64位)+Window开发模式(win ...
- hadoop+tachyon+spark的zybo cluster集群综合配置
1.zybo cluster 架构简述: 1.1 zybo cluster 包含5块zybo 开发板组成一个集群,zybo的boot文件为digilent zybo reference design提 ...
- Linux下Hadoop集群环境的安装配置
1)安装Ubuntu或其他Linux系统: a)为减少错误,集群中的主机最好安装同一版本的Linux系统,我的是Ubuntu12.04. b)每个主机的登陆用户名也最好都一样,比如都是hadoop,不 ...
- Hadoop(五)搭建Hadoop客户端与Java访问HDFS集群
阅读目录(Content) 一.Hadoop客户端配置 二.Java访问HDFS集群 2.1.HDFS的Java访问接口 2.2.Java访问HDFS主要编程步骤 2.3.使用FileSystem A ...
- Hadoop学习笔记—13.分布式集群中节点的动态添加与下架
开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如何动态(不关机且正在运行的情况下)地添加一个Hadoop节点与 ...
- Hadoop 2.6.4单节点集群配置
1.安装配置步骤 # wget http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.rpm # rpm -i ...
- Hadoop集群中添加硬盘
Hadoop工作节点扩展硬盘空间 接到老板任务,Hadoop集群中硬盘空间不够用,要求加一台机器到Hadoop集群,并且每台机器在原有基础上加一块2T硬盘,老板给力啊,哈哈. 这些我把完成这项任务的步 ...
随机推荐
- Python中使用pip安装库时指定镜像源为豆瓣镜像源
场景 在使用pip进行安装库时,使用默认的库会很慢,甚至有时会出现远程主机中断了一个现有连接. 怎样在使用pip install 时指定镜像源为豆瓣镜像源. 实现 pip install moviep ...
- Cabloy-CMS:动静结合,解决Hexo痛点问题(进阶篇)
前言 前一篇文章 介绍了如何通过Cabloy-CMS快速搭建一个博客站点. 这里简单介绍Cabloy-CMS静态站点的渲染机制,更多详细的内容请参见https://cms.cabloy.com 渲染规 ...
- Java使用Optional与Stream来取代if判空逻辑(JDK8以上)
Java使用Optional与Stream来取代if判空逻辑(JDK8以上) 通过本文你可以用非常简短的代码替代业务逻辑中的判null校验,并且很容易的在出现空指针的时候进行打日志或其他操作. 注:如 ...
- 生成式学习算法(三)之----高斯判别分析模型(Gaussian Discriminant Analysis ,GDA)
高斯判别分析模型(Gaussian Discriminant Analysis ,GDA) 当我们分类问题的输入特征$x $为连续值随机变量时,可以用高斯判别分析模型(Gaussian Discrim ...
- 07 (OC)* XIB原理和Xib、storyBoard、代码的优缺点
1:可读性 2:可视化界面.立马看到 3:开发速度. 4:复用性 5:维护性差 本质 编译时对xml文件做了如下操作1,读取xml文件,生成所有界面对象,生成所有object(即自定义的control ...
- [原创] Matlab 指派问题模型代码
指派问题的基本内容 一般来说指派问题解决的是如何将任务分配到人,使得任务完成的效益最大化(成本型效益则求最小值,利润型效益则求最大值).上述问题一个 0 - 1 整数规划问题. 问题围绕着任务和人展开 ...
- uni-app开发微信小程序的几天时间
人只有在不断的学习,才能不断的给自己充电,如果我们停止了学习,就像人没有了血脉,就会死亡,近来学习比较忙,压力比较大,整天面对着电脑,敲击代码,从中虽然收获了快乐,但是换来的确实身体的伤痛,最近虽然自 ...
- Git初始化项目 和 Gitignore
初始化init: git init git status git add . git commit -am "init projrct" 添加远程仓库: git remote ad ...
- FILETIME类型到LARGE_INTEGER类型的转换
核心编程第5版 245页到247页的讲到SetWaitableTimer函数的使用 其中提到 FILETIME类型到LARGE_INTEGER类型的转换问题,如下代码 //我们声明的局部变量 HAND ...
- js 指定分隔符连接数组元素join()
示例:<script type="text/javascript"> var myarr = new Array(3); myarr[0] = "I" ...