集群配置

准备工作

1、  Iptables

#chkconfig iptables –list

#chkconfig iptables –level 3456off

#service iptables stop

2、  Initab

#vim /etc/inittab

id:3

3、  Ntpd

#chkconfig ntpd –list

#chkconfig ntpd –level 23456off

#service iptables start

4、  Sudo hadoop(添加hadoop用户,赋于sudo权限)

#useradd hadoop

#passwd hadoop

#vim /etc/sudoers

加入hadoop  ALL=(ALL)       ALL

5、  Selinux disabled

#vim /etc/selinux/config

设置SELINUX=disabled

6、  Host

#vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=spark04

#hostname spark04

#vim /etc/hosts  主机名最好有意义的域名,例如:www.spark01.cn

10.36.0.159database

10.36.0.158spark03

10.36.0.157spark02

10.36.0.30spark01

10.36.0.201spark04

10.36.0.202spark05

7、  ssh

#ssh-keygen

#vim authorized_keys

把每台机子上的id_rsa.pub内容拷贝到authorized_keys

Scp到其它机器上

注意:配置完上述以后最好重启,配置才能生效。网络配置请符合基本配置要求

版本

名称

版本号

Hadoop

hadoop-2.6.0

Zookeeper

zookeeper-3.4.6

Jdk

jdk-7u75-linux-x64

主机(请按实际情况填写)

主机名

IP

database

10.36.0.159

Spark02

10.36.0.157

Spark03

10.36.0.158

Spark04

10.36.0.201

Spark05

10.36.0.202

角色配置(请按实际情况填写)

主机         
角色

database(159)

spark02(157)

spark03(158)

spark04(201)

spark05(202)

Namenode

Namenode

Namenode

Datanode

Datanode

Datanode

Datanode

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Journalnode

Journalnode

Journalnode

Journalnode

zkfc

zkfc

zkfc

Resourcemanager

Resourcemanager

Resourcemanager

Nodemanager

Nodemanager

Nodemanager

Nodemanager

Ha角色(请按实际情况填写)

角色名

主机名

NameNode

Database , spark02

ResourceManager

Database , spark02

访问地址(请按实际情况填写)

角色

访问地址

Namenode

http://database:50070 || http://spark02:50070

ResourceManager

http://database:8088 || http://spark02:8088

注:本地需要配置host(C:\Windows\System32\drivers\etc)

Hadoop平台安装前准备的更多相关文章

  1. 大数据Hadoop平台安装及Linux操作系统环境配置

    配置 Linux 系统基础环境 查看服务器的IP地址 设置服务器的主机名称 hostnamectl set-hostname hadoop hostname可查看 绑定主机名与IP 地址 vim /e ...

  2. 利用Ambari平台安装与部署Hadoop

    * 本篇是利用Ambari平台安装与部署Hadoop,如果需要原生部署Hadoop,请点击以下地址: https://www.cnblogs.com/live41/p/15467263.html 一. ...

  3. 高可用Hadoop平台-Ganglia安装部署

    1.概述 最近,有朋友私密我,Hadoop有什么好的监控工具,其实,Hadoop的监控工具还是蛮多的.今天给大家分享一个老牌监控工具Ganglia,这个在企业用的也算是比较多的,Hadoop对它的兼容 ...

  4. VMware下Hadoop 2.4.1完全分布式集群平台安装与设置

    1 VM下Ubuntu安装和配置 1.1 安装Ubuntu系统  这个就不说了,不知道的可以去看看其他的博文.   1.2 集群配置     搭建一个由3台机器组成的集群: IP user/passw ...

  5. hadoop分布式安装教程(转)

    from:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Ap ...

  6. Hadoop的安装与配置说明

    安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本.网址为http://apache.etoak.com//hadoop/core/.   目前,hadoop可以运 ...

  7. Ambari安装之Ambari安装前准备(CentOS6.5)(一)

    优秀博客 <Ambari--大数据平台的搭建利器> Ambari安装前准备 (一)机器准备 192.168.80.144   ambari01 (部署Ambari-server和Mirro ...

  8. Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一)

    其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0  Cloudera M ...

  9. 【Oracle 集群】11G RAC 知识图文详细教程之RAC在LINUX上使用NFS安装前准备(六)

    RAC在LINUX上使用NFS安装前准备(六) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇 ...

随机推荐

  1. openStack openSource CloudComputing

    <一,> ,OpenStack a few Core Compontents integration with openStack-keystone Identity service1.1 ...

  2. 用户向导页面实现左右滑动的ViewPager

    然后在一个博客,以前的博客ImageSwitcher实现用户向导,现在,随着ViewPager实现同样的功能.直接看代码: 布局文件activity_main.xml <RelativeLayo ...

  3. BEGIN_SINK_MAP(CMainDlg) SINK_ENTRY(IDC_EXPLORER1, ..。响应不到的

    </pre><pre name="code" class="cpp"> class CMainDlg : public CAxDialo ...

  4. Spring学习之Aop的基本概念

    转自:http://my.oschina.net/itblog/blog/209067 AOP的基本概念 AOP从运行的角度考虑程序的流程,提取业务处理过程的切面.AOP面向的是程序运行中的各个步骤, ...

  5. 【转】IOS 输入框被键盘遮盖的解决方法

    做IOS开发时,难免会遇到输入框被键盘遮掩的问题.上网上搜索了很多相关的解决方案,看了很多,但是由衷的觉得太麻烦了. 有的解决方案是将视图上的所有的东西都添加到一个滚动视图对象( UIScrollVi ...

  6. 转:什么是FOUC?如何避免FOUC?

    今天了解了一个新的名词叫做 FOUC 浏览器样式闪烁,之前也听说过一些类似的东西,比如样式突变等等,但这东西竟然有学名的.. 什么是FOUC(文档样式短暂失效)?如果使用import方法对CSS进行导 ...

  7. C#使用WinAPI 修改电源设置,临时禁止笔记本合上盖子时睡眠

    原文 http://www.cnblogs.com/h46incon/archive/2013/09/03/3299138.html 在 阻止系统自动睡眠的小软件,附C#制作过程 ,弄了一个防止系统睡 ...

  8. js大小写锁判断

    <html> <head> <title>CapsLock Demo</title> <script src="http://ajax. ...

  9. HDU 1091 A+B for Input-Output Practice (III)

    #include <cstdio> int main() { int a,b; while(scanf("%d%d",&a,&b)!=EOF) if ( ...

  10. 3027 - Corporative Network(并差集)

    3027 - Corporative Network A very big corporation is developing its corporative network. In the begi ...