集群配置

准备工作

1、  Iptables

#chkconfig iptables –list

#chkconfig iptables –level 3456off

#service iptables stop

2、  Initab

#vim /etc/inittab

id:3

3、  Ntpd

#chkconfig ntpd –list

#chkconfig ntpd –level 23456off

#service iptables start

4、  Sudo hadoop(添加hadoop用户,赋于sudo权限)

#useradd hadoop

#passwd hadoop

#vim /etc/sudoers

加入hadoop  ALL=(ALL)       ALL

5、  Selinux disabled

#vim /etc/selinux/config

设置SELINUX=disabled

6、  Host

#vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=spark04

#hostname spark04

#vim /etc/hosts  主机名最好有意义的域名,例如:www.spark01.cn

10.36.0.159database

10.36.0.158spark03

10.36.0.157spark02

10.36.0.30spark01

10.36.0.201spark04

10.36.0.202spark05

7、  ssh

#ssh-keygen

#vim authorized_keys

把每台机子上的id_rsa.pub内容拷贝到authorized_keys

Scp到其它机器上

注意:配置完上述以后最好重启,配置才能生效。网络配置请符合基本配置要求

版本

名称

版本号

Hadoop

hadoop-2.6.0

Zookeeper

zookeeper-3.4.6

Jdk

jdk-7u75-linux-x64

主机(请按实际情况填写)

主机名

IP

database

10.36.0.159

Spark02

10.36.0.157

Spark03

10.36.0.158

Spark04

10.36.0.201

Spark05

10.36.0.202

角色配置(请按实际情况填写)

主机         
角色

database(159)

spark02(157)

spark03(158)

spark04(201)

spark05(202)

Namenode

Namenode

Namenode

Datanode

Datanode

Datanode

Datanode

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Journalnode

Journalnode

Journalnode

Journalnode

zkfc

zkfc

zkfc

Resourcemanager

Resourcemanager

Resourcemanager

Nodemanager

Nodemanager

Nodemanager

Nodemanager

Ha角色(请按实际情况填写)

角色名

主机名

NameNode

Database , spark02

ResourceManager

Database , spark02

访问地址(请按实际情况填写)

角色

访问地址

Namenode

http://database:50070 || http://spark02:50070

ResourceManager

http://database:8088 || http://spark02:8088

注:本地需要配置host(C:\Windows\System32\drivers\etc)

Hadoop平台安装前准备的更多相关文章

  1. 大数据Hadoop平台安装及Linux操作系统环境配置

    配置 Linux 系统基础环境 查看服务器的IP地址 设置服务器的主机名称 hostnamectl set-hostname hadoop hostname可查看 绑定主机名与IP 地址 vim /e ...

  2. 利用Ambari平台安装与部署Hadoop

    * 本篇是利用Ambari平台安装与部署Hadoop,如果需要原生部署Hadoop,请点击以下地址: https://www.cnblogs.com/live41/p/15467263.html 一. ...

  3. 高可用Hadoop平台-Ganglia安装部署

    1.概述 最近,有朋友私密我,Hadoop有什么好的监控工具,其实,Hadoop的监控工具还是蛮多的.今天给大家分享一个老牌监控工具Ganglia,这个在企业用的也算是比较多的,Hadoop对它的兼容 ...

  4. VMware下Hadoop 2.4.1完全分布式集群平台安装与设置

    1 VM下Ubuntu安装和配置 1.1 安装Ubuntu系统  这个就不说了,不知道的可以去看看其他的博文.   1.2 集群配置     搭建一个由3台机器组成的集群: IP user/passw ...

  5. hadoop分布式安装教程(转)

    from:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Ap ...

  6. Hadoop的安装与配置说明

    安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本.网址为http://apache.etoak.com//hadoop/core/.   目前,hadoop可以运 ...

  7. Ambari安装之Ambari安装前准备(CentOS6.5)(一)

    优秀博客 <Ambari--大数据平台的搭建利器> Ambari安装前准备 (一)机器准备 192.168.80.144   ambari01 (部署Ambari-server和Mirro ...

  8. Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一)

    其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0  Cloudera M ...

  9. 【Oracle 集群】11G RAC 知识图文详细教程之RAC在LINUX上使用NFS安装前准备(六)

    RAC在LINUX上使用NFS安装前准备(六) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇 ...

随机推荐

  1. ilmerge合并多个组件

    原文 http://www.cnblogs.com/margiex/archive/2008/06/24/302329.html 年初的一篇文章中提到过一下: http://margiex.cnblo ...

  2. android之获取应用中的图片资源_获取找你妹中的图片资源

    一直不知道原来获取一个应用中的图片资源这么简单,刚才直接把apk解压,就得到了里面的一下文件,搜索一下就全部把图片资源找出来了,想要模仿应用或者自己不会ui的话,用现成的资源方便多了. 也没多少说的, ...

  3. C++STL之string (转)

    在学习c++STL中的string,在这里做个笔记,以供自己以后翻阅和初学者参考. 1:string对象的定义和初始化以及读写 string s1;      默认构造函数,s1为空串 string ...

  4. Swift中的UIKit重力学

    前言: 重力学这个名词不论在哪个行业领域听起来似乎都非常高大上. 那么在Swift中的重力学是什么呢?那就是将我们移动端屏幕上毫无生命力的东西也置于万有引力中.使它们能够展现出好像真的因为引力而向下坠 ...

  5. opengl模板缓冲区

    相信大家有些人对opengl的模板缓冲区不是很理解,包括我最开始也是,opengl的模板缓冲区其实就是采用过滤的技术来控制那些颜色可以绘制,那些不能进行绘制.这里的过滤技术也就是我们的一个控制方法,主 ...

  6. python 类属性、对象属性

    类的普通属性: dir(Myclass), 返回一个key列表: Myclass.__dir__,返回一个字典: 1.类的数据属性: 2.类的方法: 类的特殊属性: 1.Myclass.__name_ ...

  7. pkg-config的用法

    pkg-config的用法 pkg-config pkg-config程序是干什么用的?简单的说就是向用户向程序提供相应库的路径.版本号等信息的程序. 譬如说我们运行以下命令:pkg-config  ...

  8. 五子棋Web版的开发(二)--整合Spring4.3+hibernate4+Struts2.3

    拖了这么久才把ssh框架给整合完毕,期间发现自己对SSH的知识真的是知之甚少.在整合期间遇到了无数的坑,我还是先把项目地址发一下吧 首先我遇到的第一个问题是 CreateQuery is not va ...

  9. 如何在内存中压缩并加密ZIP

    项目中遇到了一个问题,考虑到安全原因,需要将文件以二进制数据的方式打包成压缩文件,并且这个压缩文件是有密码的. 去Google上找了些API,下载来看了下,琢磨出了以下方法 首先放API: <! ...

  10. BZOJ 2440 完全平方数(莫比乌斯反演+二分查找)

    题目链接:http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=23362 题意:定义含有平方数因子的数为完全平方数(平方数因子不包含 ...