集群配置

准备工作

1、  Iptables

#chkconfig iptables –list

#chkconfig iptables –level 3456off

#service iptables stop

2、  Initab

#vim /etc/inittab

id:3

3、  Ntpd

#chkconfig ntpd –list

#chkconfig ntpd –level 23456off

#service iptables start

4、  Sudo hadoop(添加hadoop用户,赋于sudo权限)

#useradd hadoop

#passwd hadoop

#vim /etc/sudoers

加入hadoop  ALL=(ALL)       ALL

5、  Selinux disabled

#vim /etc/selinux/config

设置SELINUX=disabled

6、  Host

#vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=spark04

#hostname spark04

#vim /etc/hosts  主机名最好有意义的域名,例如:www.spark01.cn

10.36.0.159database

10.36.0.158spark03

10.36.0.157spark02

10.36.0.30spark01

10.36.0.201spark04

10.36.0.202spark05

7、  ssh

#ssh-keygen

#vim authorized_keys

把每台机子上的id_rsa.pub内容拷贝到authorized_keys

Scp到其它机器上

注意:配置完上述以后最好重启,配置才能生效。网络配置请符合基本配置要求

版本

名称

版本号

Hadoop

hadoop-2.6.0

Zookeeper

zookeeper-3.4.6

Jdk

jdk-7u75-linux-x64

主机(请按实际情况填写)

主机名

IP

database

10.36.0.159

Spark02

10.36.0.157

Spark03

10.36.0.158

Spark04

10.36.0.201

Spark05

10.36.0.202

角色配置(请按实际情况填写)

主机         
角色

database(159)

spark02(157)

spark03(158)

spark04(201)

spark05(202)

Namenode

Namenode

Namenode

Datanode

Datanode

Datanode

Datanode

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Zookeeper

Journalnode

Journalnode

Journalnode

Journalnode

zkfc

zkfc

zkfc

Resourcemanager

Resourcemanager

Resourcemanager

Nodemanager

Nodemanager

Nodemanager

Nodemanager

Ha角色(请按实际情况填写)

角色名

主机名

NameNode

Database , spark02

ResourceManager

Database , spark02

访问地址(请按实际情况填写)

角色

访问地址

Namenode

http://database:50070 || http://spark02:50070

ResourceManager

http://database:8088 || http://spark02:8088

注:本地需要配置host(C:\Windows\System32\drivers\etc)

Hadoop平台安装前准备的更多相关文章

  1. 大数据Hadoop平台安装及Linux操作系统环境配置

    配置 Linux 系统基础环境 查看服务器的IP地址 设置服务器的主机名称 hostnamectl set-hostname hadoop hostname可查看 绑定主机名与IP 地址 vim /e ...

  2. 利用Ambari平台安装与部署Hadoop

    * 本篇是利用Ambari平台安装与部署Hadoop,如果需要原生部署Hadoop,请点击以下地址: https://www.cnblogs.com/live41/p/15467263.html 一. ...

  3. 高可用Hadoop平台-Ganglia安装部署

    1.概述 最近,有朋友私密我,Hadoop有什么好的监控工具,其实,Hadoop的监控工具还是蛮多的.今天给大家分享一个老牌监控工具Ganglia,这个在企业用的也算是比较多的,Hadoop对它的兼容 ...

  4. VMware下Hadoop 2.4.1完全分布式集群平台安装与设置

    1 VM下Ubuntu安装和配置 1.1 安装Ubuntu系统  这个就不说了,不知道的可以去看看其他的博文.   1.2 集群配置     搭建一个由3台机器组成的集群: IP user/passw ...

  5. hadoop分布式安装教程(转)

    from:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Ap ...

  6. Hadoop的安装与配置说明

    安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本.网址为http://apache.etoak.com//hadoop/core/.   目前,hadoop可以运 ...

  7. Ambari安装之Ambari安装前准备(CentOS6.5)(一)

    优秀博客 <Ambari--大数据平台的搭建利器> Ambari安装前准备 (一)机器准备 192.168.80.144   ambari01 (部署Ambari-server和Mirro ...

  8. Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一)

    其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0  Cloudera M ...

  9. 【Oracle 集群】11G RAC 知识图文详细教程之RAC在LINUX上使用NFS安装前准备(六)

    RAC在LINUX上使用NFS安装前准备(六) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇 ...

随机推荐

  1. 汉字转拼音的vc++程序源代码

    #include "StdAfx.h" #include "MyChiToLetter.h" // Download by http://www.codefan ...

  2. JSP 和 Servlet 有哪些相同点和不同点, 他们之间的联系是什么?

    jsp和servlet的区别和联系:1.jsp经编译后就变成了Servlet.(JSP的本质就是Servlet,JVM只能识别java的类,不能识别JSP的代码,Web容器将JSP的代码编译成JVM能 ...

  3. mac outlook无法发送邮件

    工具-帐户 第一步把SSL钩挑上 第二步 下面的更多选项,验证选择“使用接收服务器信息” 搞定了!记得个赞!

  4. YII框架下实现密码修改

    YII2 实现修改密码功能 主要难点: 1.密码加密 YII2对密码加密生成的结果是不同的,即用相同的初始密码在不同时间得到的加密结果不同,所以我们不能用常用的方法去验证密码是否正确(将密码加密后与数 ...

  5. JAVA_用_JCO连接_SAP,实现调用SAP_的_RFC_函数(整理)(附一篇看起来比较全面的说明)(JCO报错信息)

    // 获取RFC返回的字段值 11 JCoParameterList exportParam = function.getExportParameterList(); 12 String exPara ...

  6. poj 2773 Happy 2006 容斥原理+二分

    题目链接 容斥原理求第k个与n互质的数. #include <iostream> #include <vector> #include <cstdio> #incl ...

  7. java 类排序

    参考文档:Java排序: Comparator vs Comparable 入门 java类经常面临排序问题,据我所知:java提供comparable和comparator两种比较方式: 1. co ...

  8. IOS本地化。

    1,项目名本地化 点击项目,蓝色图标->info 最下面+号,添加chinese本地化. Supporting Files->infoPlist.strings 下会有两个文件,有一个是设 ...

  9. 完成端口(Completion Port)详解(超级长,超级清楚)

    http://www.cnblogs.com/lancidie/archive/2011/12/19/2293773.html

  10. IIs 网站应用程序与虚拟目录的区别及高级应用说明(文件分布式存储方案)

    原文 IIs 网站应用程序与虚拟目录的区别及高级应用说明(文件分布式存储方案) 对于IIS网站,大伙用的比较多,就不啰嗦了.   今天和说说大伙比较少使用的"IIS应用程序”和虚拟目录的区别 ...