菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章 cheungmine, 2014-10-25 0 引言 在生产环境上安装Hadoop高可用集群一直是一个需要极度耐心和体力的细致工作.尽管有很多文档教会大家怎么一步一步去完成这样的工作,但是百密也有一疏.现成的工具不是没有,但是对于我这个喜欢了解细节的人来说,用别人的东西,写的好还可以,写的不好,出了问题,查找错误难之又难.手工安装Hadoop集群需要对Linux有一定的使用经验.对于完全没有接触Linux的人来说,肯定是望而生…

菜鸟玩云计算之十九:Hadoop 2.5.0 HA 集群安装第2章 cheungmine, 2014-10-26 在上一章中,我们准备好了计算机和软件.本章开始部署hadoop 高可用集群. 2 部署Hadoop HA 集群 2.1 节点计算机预处理 2.2 ssh免密码登录 2.3 安装jdk…

在这篇文章中<Ubuntu和CentOS分布式配置Hadoop-2.2.0>介绍hadoop 2.2.0最主要的配置.hadoop 2.2.0中提供了HA的功能,本文在前文的基础上介绍hadoop 2.2.0HA的配置. 说明: 下文中的两台namenode机器名各自是namenode1和namenode2.当中namenode1为active node.namenode2为standby namenode. journalnode机器有三台(注意:至少为三台).各自是journalnode1…

采用的是4台真实机器: namenode:qzhong  node27 datanode:qzhong node27 node100 node101 操作系统环境:qzhong(Ubuntu-14.0) node27.node100.node101(CentOS 64bits) HA配置方式:采用的是journalNode方式,而不是采用NFS方式 hdfs-site.xml: <?xml version="1.0" encoding="UTF-8"?>…

hadoop2.5.0 HA配置 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop-2.5.0-cdh5.3.6/etc/hadoop目录,修改hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml ,yarn-site.xml,yarn-env.sh,slaves等文件 1.1 core-site.xml文件 <configuration> <property> <name>f…

Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作.在hadoop1时代,只有一个NameNode.如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了.这是hadoop1中的单点问题,也是hadoop1不可靠的表现.hadoop2就解决了这个问题. hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个NameNode.其中一个处于工作状态,另一个处于随时待命状态.这样,当一个NameNode所在的服务器宕机时,可以在数据不丢失的情况下,手工或…

一.单机模式 a.配置本机到本机的免密登录 b.解压hadoop压缩包,修改hadoop.env.sh中的JAVA_HOME c.修改core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.110.222</value> </property> </configuration> d.修改ha…

安装环境操作系统:CentOS 6.5 i586(32位)java环境:JDK 1.7.0.51hadoop版本:社区版本2.2.0,hadoop-2.2.0.tar.gz 安装准备设置集群的hosts,切换到root用户下,用vi编辑器修改/etc/hosts配置文件: vi /etc/hosts 10.1.5.125 master 10.1.5.126 slave1 10.1.5.127 slave2 127.0.0.1 localhost 配置集群各个节点之间的ssh无密码互信,也就是从m…

一 准备工作 准备工作中要求有 1.centOs 6.4,添加hadoop用户,配置集群内的/etc/hosts文件. 2.安装hadoop用户的ssh,并打通集群内所有机器,(ha执行fencing时会用到). 3.下载社区版hadoop-2.2.0源码. 二 编译hadoop 2.2.0 (编译hadoop 2.2.0所需要的软件可在此处下载:http://pan.baidu.com/s/1mgodf40) ------------------------------------------…

总体介绍 虚拟机4台,分布在1个物理机上,配置基于hadoop的集群中包括4个节点: 1个 Master, 3个 Salve,i p分布为: 10.10.96.33 hadoop1 (Master) 10.10.96.59 hadoop2 (Slave) 10.10.96.65 hadoop3 (Slave) 10.10.96.64 hadoop4 (Slave) 操作系统为Red Hat Enterprise Linux Server release 6.4,GNU/Linux 2.6.32…