hadoop2.610集群配置(包含HA和Hbase )
.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等)
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
5.ssh免登陆
6.安装JDK,配置环境变量等
集群规划:
主机名 IP 安装的软件 运行的进程
- Master 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
- Slave1 192.168.1.202 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
- Slave2 192.168.1.203 jdk、hadoop ResourceManager
- Slave3 192.168.1.204 jdk、hadoop ResourceManager
- Slave4 192.168.1.205 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
- Slave5 192.168.1.206 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
- Slave6 192.168.1.207 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
复制代码
说明:
1.在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调
安装步骤:
1.安装配置zooekeeper集群(在Slave4上)
1.1解压
- [root@Master local]#tar -zxvf zookeeper-3.4.6.tar.g-C /usr/local/
- [root@Master local]#mv zookeeper-3.4.6/ zookeeper
复制代码
1.2修改配置
- [root@Master local]#cd /usr/local/zookeeper/conf/
- [root@Master local]#cp zoo_sample.cfg zoo.cfg
- [root@Master local]#vim zoo.cfg
复制代码
修改:
- dataDir=/itcast/zookeeper/zkData
复制代码
在最后添加:
- server.1=Slave4:2888:3888
- server.2=Slave5:2888:3888
- server.3=Slave6:2888:3888
复制代码
保存退出
然后创建一个tmp文件夹
- [root@Master local]#mkdir /usr/local/zookeeper/zkData
复制代码
再创建一个空文件
- [root@Master local]#touch /usr/local/zookeeper/zkData/myid
复制代码
最后向该文件写入ID
- [root@Master local]#echo 1 > /usr/local/zookeeper/zkData/myid
复制代码
1.3将配置好的zookeeper拷贝到其他节点(首先分别在Slave5、Slave6根目录:/usr/local/)
- [root@Master local]#scp -r /usr/local/zookeeper/ Slave5:/usr/local/
- [root@Master local]#scp -r /usr/local/zookeeper/ Slave6:/usr/local/
复制代码
注意:修改Slave5、Slave6对应/usr/local/zookeeper/zkData/myid内容
- Slave5:
- [root@Master local]#echo 2 > /usr/local/zookeeper/zkData/myid
- Slave6:
- [root@Master local]#echo 3 > /usr/local/zookeeper/zkData/myid
复制代码
2.安装配置hadoop集群(在Master上操作)
2.1解压
- [root@Master local]#tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/
复制代码
2.2配置HDFS(hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下)
#将hadoop添加到环境变量中
- [root@Master local]#vim /etc/profile
- export JAVA_HOME=/usr/local/jdk1.7
- export HADOOP_HOME=/usr/local/hadoop-2.6.0
- export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
复制代码
#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
- [root@Master local]#cd /usr/local/hadoop-2.6.0/etc/hadoop
复制代码
2.2.1修改hadoo-env.sh
- export JAVA_HOME=/usr/local/jdk1.7
复制代码
2.2.2修改core-site.xml
- <configuration>
- <!-- 指定hdfs的nameservice为masters -->
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://masters</value>
- </property>
- <!-- 指定hadoop临时目录 -->
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/usr/local/hadoop-2.6.0/tmp</value>
- </property>
- <!-- 指定zookeeper地址 -->
- <property>
- <name>ha.zookeeper.quorum</name>
- <value>Slave4:2181,Slave5:2181,Slave6:2181</value>
- </property>
- </configuration>
复制代码
2.2.3修改hdfs-site.xml
- <configuration>
- <!--指定hdfs的nameservice为masters,需要和core-site.xml中的保持一致 -->
- <property>
- <name>dfs.nameservices</name>
- <value>masters,ns1,ns2,ns3</value>
- </property>
- <!-- Master下面有两个NameNode,分别是Master,Slave1 -->
- <property>
- <name>dfs.ha.namenodes.masters</name>
- <value>Master,Slave1</value>
- </property>
- <!-- Master的RPC通信地址 -->
- <property>
- <name>dfs.namenode.rpc-address.masters.Master</name>
- <value>Master:9000</value>
- </property>
- <!-- Master的http通信地址 -->
- <property>
- <name>dfs.namenode.http-address.masters.Master</name>
- <value>Master:50070</value>
- </property>
- <!-- Slave1的RPC通信地址 -->
- <property>
- <name>dfs.namenode.rpc-address.masters.Slave1</name>
- <value>Slave1:9000</value>
- </property>
- <!-- Slave1的http通信地址 -->
- <property>
- <name>dfs.namenode.http-address.masters.Slave1</name>
- <value>Slave1:50070</value>
- </property>
- <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
- <property>
- <name>dfs.namenode.shared.edits.dir</name>
- <value>qjournal://Slave4:8485;Slave5:8485;Slave6:8485/masters</value>
- </property>
- <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
- <property>
- <name>dfs.journalnode.edits.dir</name>
- <value>/usr/local/hadoop-2.6.0/journal</value>
- </property>
- <!-- 开启NameNode失败自动切换 -->
- <property>
- <name>dfs.ha.automatic-failover.enabled</name>
- <value>true</value>
- </property>
- <!-- 配置失败自动切换实现方式 -->
- <property>
- <name>dfs.client.failover.proxy.provider.masters</name>
- <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
- </property>
- <!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
- <property>
- <name>dfs.ha.fencing.methods</name>
- <value>
- sshfence
- shell(/bin/true)
- </value>
- </property>
- <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
- <property>
- <name>dfs.ha.fencing.ssh.private-key-files</name>
- <value>/root/.ssh/id_rsa</value>
- </property>
- <!-- 配置sshfence隔离机制超时时间 -->
- <property>
- <name>dfs.ha.fencing.ssh.connect-timeout</name>
- <value>30000</value>
- </property>
- </configuration>
复制代码
2.2.4修改mapred-site.xml
- <configuration>
- <!-- 指定mr框架为yarn方式 -->
- <property>
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
- </property>
- </configuration>
复制代码
2.2.5修改yarn-site.xml
- <configuration>
- <!-- 开启RM高可靠 -->
- <property>
- <name>yarn.resourcemanager.ha.enabled</name>
- <value>true</value>
- </property>
- <!-- 指定RM的cluster id -->
- <property>
- <name>yarn.resourcemanager.cluster-id</name>
- <value>RM_HA_ID</value>
- </property>
- <!-- 指定RM的名字 -->
- <property>
- <name>yarn.resourcemanager.ha.rm-ids</name>
- <value>rm1,rm2</value>
- </property>
- <!-- 分别指定RM的地址 -->
- <property>
- <name>yarn.resourcemanager.hostname.rm1</name>
- <value>Slave2</value>
- </property>
- <property>
- <name>yarn.resourcemanager.hostname.rm2</name>
- <value>Slave3</value>
- </property>
- <property>
- <name>yarn.resourcemanager.recovery.enabled</name>
- <value>true</value>
- </property>
- <property>
- <name>yarn.resourcemanager.store.class</name>
- <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
- </property>
- <!-- 指定zk集群地址 -->
- <property>
- <name>yarn.resourcemanager.zk-address</name>
- <value>Slave4:2181,Slave5:2181,Slave6:2181</value>
- </property>
- <property>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce_shuffle</value>
- </property>
- </configuration>
复制代码
2.2.6修改slaves(slaves是指定子节点的位置,因为要在Master上启动HDFS、在Slave2启动yarn,所以Master上的slaves文件指定的是datanode的位置,slave2上的slaves文件指定的是nodemanager的位置)
- Slave4
- Slave5
- Slave6
复制代码
2.2.7配置免密码登陆
#首先要配置Master到Slave1、Slave2、Slave3、Slave4、Slave5、Slave6的免密码登陆
#在Master上生产一对钥匙
- [root@Master local]#ssh-keygen -t rsa
复制代码
#将公钥拷贝到其他节点,包括自己
- [root@Master local]#ssh-copy-id Master
- [root@Master local]#ssh-copy-id Slave1
- [root@Master local]#ssh-copy-id Slave2
- [root@Master local]#ssh-copy-id Slave3
- [root@Master local]#ssh-copy-id Slave4
- [root@Master local]#ssh-copy-id Slave5
- [root@Master local]#ssh-copy-id Slave6
复制代码
#配置Slave2到Slave3、Slave4、Slave5、Slave6的免密码登陆
#在Slave2上生产一对钥匙
- [root@Master local]#ssh-keygen -t rsa
复制代码
#将公钥拷贝到其他节点
- [root@Master local]#ssh-copy-id Slave3
- [root@Master local]#ssh-copy-id Slave4
- [root@Master local]#ssh-copy-id Slave5
- [root@Master local]#ssh-copy-id Slave6
复制代码
#注意:两个namenode之间要配置ssh免密码登陆,别忘了配置Slave1到Master的免登陆
在Slave1上生产一对钥匙
- [root@Master local]#ssh-keygen -t rsa
- [root@Master local]#ssh-copy-id -i Master
复制代码
#在Slave3上生产一对钥匙
- [root@Master local]#ssh-keygen -t rsa
复制代码
#将公钥拷贝到其他节点
- [root@Master local]#ssh-copy-id Slave4
- [root@Master local]#ssh-copy-id Slave5
- [root@Master local]#ssh-copy-id Slave6
复制代码
2.4将配置好的hadoop拷贝到其他节点
- [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave1:/usr/local/
- [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave2:/usr/local/
- [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave3:/usr/local/
- [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave4:/usr/local/
- [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave5:/usr/local/
- [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave6:/usr/local/
复制代码
###注意:严格按照下面的步骤
2.5启动zookeeper集群(分别在Slave4、Slave5、Slave6上启动zk)
- [root@Master local]#cd /usr/local/zookeeper/bin/
- [root@Master local]#./zkServer.sh start
复制代码
#查看状态:一个leader,两个follower
- [root@Master local]#./zkServer.sh status
复制代码
2.6启动journalnode(分别在Slave4、Slave5、Slave6上执行)
- [root@Master local]#cd /usr/local/hadoop-2.6.0/sbin
- [root@Master local]#sbin/hadoop-daemon.sh start journalnode
复制代码
#运行jps命令检验,Slave4、Slave5、Slave6上多了JournalNode进程
2.7格式化HDFS
#在Master上执行命令:
- [root@Master local]#hdfs namenode -format
复制代码
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件,这里我配置的是/usr/local/hadoop-2.6.0/tmp,
然后将/usr/local/hadoop-2.6.0/tmp拷贝到Slave1的/usr/local/hadoop-2.6.0/下。
- [root@Master local]#scp -r tmp/ Slave1:/usr/local/hadoop-2.6.0/
复制代码
2.8格式化ZK(在Master上执行即可)
- [root@Master local]#hdfs zkfc -formatZK
复制代码
2.9启动HDFS(在Master上执行)
- [root@Master local]#sbin/start-dfs.sh
复制代码
2.10启动YARN(#####注意#####:是在Slave2上执行start-yarn.sh,把namenode和resourcemanager分开是因为性能问题,因为他们都要占用大量资源,所以把他们分开了,他们分开了就要分别在不同的机器上启动)
- [root@Master local]#Slave2:${HADOOP_HOME}/sbin/start-yarn.sh
- [root@Master local]#Slave3:${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
复制代码
到此,hadoop-2.6.0配置完毕,可以统计浏览器访问:
- http://192.168.80.100:50070
- NameNode 'Master:9000' (active)
- http://192.168.80.101:50070
- NameNode 'Slave1:9000' (standby)
复制代码
验证HDFS HA
首先向hdfs上传一个文件
- [root@Master local]#hadoop fs -put /etc/profile /profile
- [root@Master local]#hadoop fs -ls /
复制代码
然后再kill掉active的NameNode
- [root@Master local]#kill -9 <pid of NN>
复制代码
通过浏览器访问:http://192.168.80.101:50070
NameNode 'Slave1:9000' (active)
这个时候Slave1上的NameNode变成了active
在执行命令:
- [root@Master local]#hadoop fs -ls /
- -rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile
复制代码
刚才上传的文件依然存在!!!
手动启动那个挂掉的NameNode
- [root@Master local]#sbin/hadoop-daemon.sh start namenode
复制代码
通过浏览器访问:http://192.168.80.101:50070
- NameNode 'Master:9000' (standby)
复制代码
验证YARN:
运行一下hadoop提供的demo中的WordCount程序:
- [root@Master local]#hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out
复制代码
hadoop HA集群搭建完成
1.上传hbase安装包
2.解压
3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)
注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
3.1修改hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_55
//告诉hbase使用外部的zk
export HBASE_MANAGES_ZK=false
vim hbase-site.xml
<configuration>
<!-- 指定hbase在HDFS上存储的路径 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://ns1/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定zk的地址,多个用“,”分割 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>itcast04:2181,itcast05:2181,itcast06:2181</value>
</property>
</configuration>
vim regionservers
itcast03
itcast04
itcast05
itcast06
3.2拷贝hbase到其他节点
scp -r /itcast/hbase-0.96.2-hadoop2/ itcast02:/itcast/
scp -r /itcast/hbase-0.96.2-hadoop2/ itcast03:/itcast/
scp -r /itcast/hbase-0.96.2-hadoop2/ itcast04:/itcast/
scp -r /itcast/hbase-0.96.2-hadoop2/ itcast05:/itcast/
scp -r /itcast/hbase-0.96.2-hadoop2/ itcast06:/itcast/
4.将配置好的HBase拷贝到每一个节点并同步时间。
5.启动所有的hbase
分别启动zk
./zkServer.sh start
启动hbase集群
start-dfs.sh
启动hbase,在主节点上运行:
start-hbase.sh
6.通过浏览器访问hbase管理页面
192.168.1.201:60010
7.为保证集群的可靠性,要启动多个HMaster
hbase-daemon.sh start master
hadoop2.610集群配置(包含HA和Hbase )的更多相关文章
- hadoop-2.3.0-cdh5.1.0完全分布式集群配置及HA配置(待)
一.安装前准备: 操作系统:CentOS 6.5 64位操作系统 环境:jdk1.7.0_45以上,本次采用jdk-7u55-linux-x64.tar.gz master01 10.10.2.57 ...
- hadoop-2.3.0-cdh5.1.0完全分布式集群配置HA配置
一.安装前准备: 操作系统:CentOS 6.5 64位操作系统 环境:jdk1.7.0_45以上,本次采用jdk-7u55-linux-x64.tar.gz master01 10.10.2.57 ...
- Zookeeper + Hadoop2.6 集群HA + spark1.6完整搭建与所有参数解析
废话就不多说了,直接开始啦~ 安装环境变量: 使用linx下的解压软件,解压找到里面的install 或者 ls 运行这个进行安装 yum install gcc yum install gcc-c+ ...
- Hadoop2.2集群安装配置-Spark集群安装部署
配置安装Hadoop2.2.0 部署spark 1.0的流程 一.环境描写叙述 本实验在一台Windows7-64下安装Vmware.在Vmware里安装两虚拟机分别例如以下 主机名spark1(19 ...
- Hadoop2.8.4集群配置
建hadoop用户 #添加用户hadoop adduser hadoop 这个过程中需要输入密码两次 Enter new password: Retype new password: passwd: ...
- CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- Openstack的HA解决方案【mysql集群配置】
使用mysql的galera做多主集群配置,galera的集群优势网络上面有对比,这里不在叙述. 1. 新建3台虚拟机(centos6.5) node1:172.17.44.163 node2:172 ...
- Centos7安装Nacos单机模式以及集群模式(包含nignx安装以及实现集群)的相关配置
Nacos 致力于帮助您发现.配置和管理微服务.Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现.服务配置.服务元数据及流量管理. Nacos支持三种部署模式 单机模式 - 用于测试 ...
- Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
声明:作者原创,转载注明出处. 作者:帅气陈吃苹果 一.服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/ha ...
随机推荐
- 动态调用DLL函数有时正常,有时报Access violation的异常
动态调用DLL函数有时正常,有时报Access violation的异常 typedef int (add *)(int a,int b); void test() { hInst=LoadL ...
- PHP扩展开发01:第一个扩展【转】
我们先假设业务场景,是需要有这么一个扩展,提供一个叫ccvita_string的函数,他的主要作用是返回一段字符.(这个业务场景实在太假,大家就这么看看吧)对应的PHP代码可能是这样: functio ...
- git版本号管理工具的上手
git是一个分布式的版本号管理工具 和其它集中式版本号管理 工具相比具有下面长处: 1.能够在不联网的情况下开发 2.能够方便的建立本地分支 3.本地化的日志,高速获得信息 git命令的使用 mkdi ...
- GoogleProgressBar
https://github.com/jpardogo/GoogleProgressBar
- android webview内容压线问题解决方法
最近在使用webview做页面开发,项目上要求webview在获取到焦点的时候需要有边框线,于是添加上了webview的选中效果,但是出现了网页中的内容压选中框的情况.之后给webview添加padd ...
- [React] React Fundamentals: State Basics
State is used for properties on a component that will change, versus static properties that are pass ...
- MYSQL在线注释文档--- 在gdb中显示源码(gdbtui使用方法)----赖明星的个人博客
http://mingxinglai.com/cn/2013/07/gdbtui/ MySQL源码注释与类图 http://mingxinglai.com/cn/2015/08/mysql-annot ...
- 学点css之经验总结篇章
学css说起来应该有三天左右的时间的,加上之前了解的基础,对css有一点的感性认识了,相应代码有有比较好的把握,现在就通过分享几张照片的形式分享一下我的收获 备注:在Border的外边的部门被称作:o ...
- C#类和成员定义
1 定义类 C#用关键字class来定义类.默认情况下,类声明为内部(internal)的,即只有当前项目中的代码才能访问它.与之相对应的,还可以用public关键字来修饰,这样该类还可以由其 ...
- 2014年的Google I/O app设计中的材料设计-渣渣的翻译
又是一篇翻译,用了三个多小时.http://android-developers.blogspot.co.id/2014/08/material-design-in-2014-google-io-ap ...