Hadoop平台安装前准备
集群配置
准备工作
1、 Iptables
#chkconfig iptables –list
#chkconfig iptables –level 3456off
#service iptables stop
2、 Initab
#vim /etc/inittab
id:3
3、 Ntpd
#chkconfig ntpd –list
#chkconfig ntpd –level 23456off
#service iptables start
4、 Sudo hadoop(添加hadoop用户,赋于sudo权限)
#useradd hadoop
#passwd hadoop
#vim /etc/sudoers
加入hadoop ALL=(ALL) ALL
5、 Selinux disabled
#vim /etc/selinux/config
设置SELINUX=disabled
6、 Host
#vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=spark04
#hostname spark04
#vim /etc/hosts 主机名最好有意义的域名,例如:www.spark01.cn
10.36.0.159database
10.36.0.158spark03
10.36.0.157spark02
10.36.0.30spark01
10.36.0.201spark04
10.36.0.202spark05
7、 ssh
#ssh-keygen
#vim authorized_keys
把每台机子上的id_rsa.pub内容拷贝到authorized_keys
Scp到其它机器上
注意:配置完上述以后最好重启,配置才能生效。网络配置请符合基本配置要求
版本
名称 |
版本号 |
Hadoop |
hadoop-2.6.0 |
Zookeeper |
zookeeper-3.4.6 |
Jdk |
jdk-7u75-linux-x64 |
主机(请按实际情况填写)
主机名 |
IP |
database |
10.36.0.159 |
Spark02 |
10.36.0.157 |
Spark03 |
10.36.0.158 |
Spark04 |
10.36.0.201 |
Spark05 |
10.36.0.202 |
角色配置(请按实际情况填写)
database(159) |
spark02(157) |
spark03(158) |
spark04(201) |
spark05(202) |
|
Namenode |
Namenode |
Namenode |
|
|
|
Datanode |
|
|
Datanode |
Datanode |
Datanode |
Zookeeper |
Zookeeper |
Zookeeper |
Zookeeper |
Zookeeper |
Zookeeper |
Journalnode |
Journalnode |
Journalnode |
Journalnode |
|
|
zkfc |
zkfc |
zkfc |
|
|
|
Resourcemanager |
Resourcemanager |
Resourcemanager |
|
|
|
Nodemanager |
|
|
Nodemanager |
Nodemanager |
Nodemanager |
Ha角色(请按实际情况填写)
角色名 |
主机名 |
NameNode |
Database , spark02 |
ResourceManager |
Database , spark02 |
访问地址(请按实际情况填写)
角色 |
访问地址 |
Namenode |
http://database:50070 || http://spark02:50070 |
ResourceManager |
http://database:8088 || http://spark02:8088 |
注:本地需要配置host(C:\Windows\System32\drivers\etc)
Hadoop平台安装前准备的更多相关文章
- 大数据Hadoop平台安装及Linux操作系统环境配置
配置 Linux 系统基础环境 查看服务器的IP地址 设置服务器的主机名称 hostnamectl set-hostname hadoop hostname可查看 绑定主机名与IP 地址 vim /e ...
- 利用Ambari平台安装与部署Hadoop
* 本篇是利用Ambari平台安装与部署Hadoop,如果需要原生部署Hadoop,请点击以下地址: https://www.cnblogs.com/live41/p/15467263.html 一. ...
- 高可用Hadoop平台-Ganglia安装部署
1.概述 最近,有朋友私密我,Hadoop有什么好的监控工具,其实,Hadoop的监控工具还是蛮多的.今天给大家分享一个老牌监控工具Ganglia,这个在企业用的也算是比较多的,Hadoop对它的兼容 ...
- VMware下Hadoop 2.4.1完全分布式集群平台安装与设置
1 VM下Ubuntu安装和配置 1.1 安装Ubuntu系统 这个就不说了,不知道的可以去看看其他的博文. 1.2 集群配置 搭建一个由3台机器组成的集群: IP user/passw ...
- hadoop分布式安装教程(转)
from:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Ap ...
- Hadoop的安装与配置说明
安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本.网址为http://apache.etoak.com//hadoop/core/. 目前,hadoop可以运 ...
- Ambari安装之Ambari安装前准备(CentOS6.5)(一)
优秀博客 <Ambari--大数据平台的搭建利器> Ambari安装前准备 (一)机器准备 192.168.80.144 ambari01 (部署Ambari-server和Mirro ...
- Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一)
其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0 Cloudera M ...
- 【Oracle 集群】11G RAC 知识图文详细教程之RAC在LINUX上使用NFS安装前准备(六)
RAC在LINUX上使用NFS安装前准备(六) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇 ...
随机推荐
- ilmerge合并多个组件
原文 http://www.cnblogs.com/margiex/archive/2008/06/24/302329.html 年初的一篇文章中提到过一下: http://margiex.cnblo ...
- android之获取应用中的图片资源_获取找你妹中的图片资源
一直不知道原来获取一个应用中的图片资源这么简单,刚才直接把apk解压,就得到了里面的一下文件,搜索一下就全部把图片资源找出来了,想要模仿应用或者自己不会ui的话,用现成的资源方便多了. 也没多少说的, ...
- C++STL之string (转)
在学习c++STL中的string,在这里做个笔记,以供自己以后翻阅和初学者参考. 1:string对象的定义和初始化以及读写 string s1; 默认构造函数,s1为空串 string ...
- Swift中的UIKit重力学
前言: 重力学这个名词不论在哪个行业领域听起来似乎都非常高大上. 那么在Swift中的重力学是什么呢?那就是将我们移动端屏幕上毫无生命力的东西也置于万有引力中.使它们能够展现出好像真的因为引力而向下坠 ...
- opengl模板缓冲区
相信大家有些人对opengl的模板缓冲区不是很理解,包括我最开始也是,opengl的模板缓冲区其实就是采用过滤的技术来控制那些颜色可以绘制,那些不能进行绘制.这里的过滤技术也就是我们的一个控制方法,主 ...
- python 类属性、对象属性
类的普通属性: dir(Myclass), 返回一个key列表: Myclass.__dir__,返回一个字典: 1.类的数据属性: 2.类的方法: 类的特殊属性: 1.Myclass.__name_ ...
- pkg-config的用法
pkg-config的用法 pkg-config pkg-config程序是干什么用的?简单的说就是向用户向程序提供相应库的路径.版本号等信息的程序. 譬如说我们运行以下命令:pkg-config ...
- 五子棋Web版的开发(二)--整合Spring4.3+hibernate4+Struts2.3
拖了这么久才把ssh框架给整合完毕,期间发现自己对SSH的知识真的是知之甚少.在整合期间遇到了无数的坑,我还是先把项目地址发一下吧 首先我遇到的第一个问题是 CreateQuery is not va ...
- 如何在内存中压缩并加密ZIP
项目中遇到了一个问题,考虑到安全原因,需要将文件以二进制数据的方式打包成压缩文件,并且这个压缩文件是有密码的. 去Google上找了些API,下载来看了下,琢磨出了以下方法 首先放API: <! ...
- BZOJ 2440 完全平方数(莫比乌斯反演+二分查找)
题目链接:http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=23362 题意:定义含有平方数因子的数为完全平方数(平方数因子不包含 ...