1.基本环境:

操作系统:

Centos 7.2.1511

三台虚机:

192.168.163.224  master

192.168.163.225  node1

192.168.163.226  node2

软件包

hadoop-2.7.2.tar.gz

jdk-7u79-linux-x64.tar.gz

2.配置系统环境

配置ntp时间同步

参考http://bigtrash.blog.51cto.com/8966424/1826481

修改hostname

192.168.163.224主机: echo "master" /etc/hostname

 

192.168.163.225主机:echo "node1" /etc/hostname

 

192.168.163.226主机:echo "node2" /etc/hostname

 

master上修改hosts文件

echo "192.168.163.224 master" >>/etc/hosts

 echo "192.168.163.225 node1" >>/etc/hosts
 echo "192.168.163.225 node2" >>/etc/hosts

同步到node1,node2上的主机

 scp /etc/hosts node1:/etc/
 scp /etc/hosts node2:/etc/

各台主机上相互ping,测试是否可以通过host连通

 ping master
 ping node1
 ping node2

master,node1,node2上关闭防火墙

  systemctl stop firewalld
  systemctl disable firewalld

3.配置hadoop环境

master,node1,node2上安装jdk

rpm -qa|grep openjdk  #检查openjdk,存在则删除

yum remove *-openjdk-*   ####删除openjdk#####

安装sunjdk

#yum install glibc.i686(64位系统安装32位包,需要安装)

#tar -zxvf jdk-7u79-linux-x64.tar.gz<br>

#mv ./jdk1.7.0_79 /usr/</span>

 

master,node1,node2上创建hadoop用户

useradd hadoop  #增加hadoop用户,用户组、home目录、终端使用默认

passwd  hadoop  #修改密码

建议在学习阶段将hadoop用户加入sudo权限管理,简单方法如下

1.执行visudo命令

2.在root    ALL=(ALL)       ALL 后加入

hadoop    ALL=(ALL)       ALL

master,node1,node2上进入hadoop用户:

su - hadoop

master,node1,node2上无密钥连接:

master上的hadoop用户通过rsa算法生成非对称密钥对:

  ssh-keygen -t rsa
  cd /home/hadoop/.ssh/
  cp id_rsa.pub  authorized_keys
  chmod go-wx  authorized_keys
 

master上的公钥authorized_keys拷贝到node1,node2上的hadoop用户

  scp authorized_keys node1:/home/hadoop/.ssh/
  scp authorized_keys node2:/home/hadoop/.ssh/

可通过如下命令测试

ssh node1

ssh node2

为方便node1,node2中hadoop用户可以同时登录master,这里我们集群中的所有用户共用一个密钥

 scp ~/.ssh/id_rsa node1:/home/hadoop/.ssh/
 scp ~/.ssh/id_rsa node2:/home/hadoop/.ssh/

master,node1,node2上修改环境变量

    vi /etc/profile

  JAVA_HOME=/usr/jdk1.7.0_79
  HADOOP_HOME=/usr/local/hadoop
  export PATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
  su - hadoop  #重新读取环境变量

master,node1,node2上创建相关目录

  sudo mkdir -p /usr/local/hadoop
  sudo chown -R hadoop:hadoop  /usr/local/hadoop
  sudo mkdir -p /data/hadoop/   #创建 hadoop 数据目录结构
  sudo chown -R hadoop:hadoop  /data/hadoop/
  mkdir -p /data/hadoop/tmp/   #创建 tmp
  mkdir -p /data/hadoop/hdfs/   #创建hdfs
  mkdir -p /data/hadoop/hdfs/data  #创建datanode目录
  mkdir -p /data/hadoop/hdfs/name  #创建namenode目录
  mkdir -p /data/hadoop/hdfs/namesecondary

安装hadoop

  wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 
  tar -zxvf hadoop-2.7.2.tar.gz 
  mv hadoop-2.7.2 /usr/local/hadoop
  chown -R hadoop:hadoop /usr/local/hadoop/

4.修改配置文件

配置文件相关变量详细解释可查看官网:

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/

cd $HADOOP_HOME/etc/hadoop

4.1  vi hadoop-env.sh

export HADOOP_HEAPSIZE=128  #默认为1000M,这里我们修改为128M

4.2  vi core-site.xml  #全局配置

<configuration>
 
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
<!--hadoop namenode 服务器地址和端口,以域名形式-->
</property>
 
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>1800</value>
<!-- editlog每隔30分钟触发一次合并,默认为60分钟 -->
</property>
 
</property>
<property>
  <name>fs.checkpoint.size</name>
  <value>67108864</value>
</property>
 
<property>
<name>fs.trash.interval</name>
<value>1440</value>
<!-- Hadoop文件回收站,自动回收时间,单位分钟,这里设置是1天,默认为0。-->
</property>
 
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/tmp</value>
<!-- Hadoop的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。/data/hadoop/tmp这里给的路径不需要创建会自动生成.-->
</property>
 
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
<!-- 流文件的缓冲区-->
</property>
 
</configuration>

4.3 vi hdfs-site.xml  #hdfs中NameNode,DataNode局部配置

<configuration>
 
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hadoop/hdfs/name</value>
<!--HDFS namenode数据镜象目录-->
<description>  </description>
</property>
 
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hadoop/hdfs/data</value>
<!-- HDFS datanode数据镜象存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔 -->
<description> </description>
</property>
 
<property>
<name>dfs.namenode.http-address</name>
<value>master:50070</value>
<!---HDFS Web查看主机和端口-->
</property>
 
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node1:50090</value>
<!--辅控HDFS web查看主机和端口-->
</property>
 
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
 
<property>
<name>dfs.replication</name>
<value>3</value>
<!--HDFS数据保存份数,通常是3-->
</property>
 
<property>
<name>dfs.datanode.du.reserved</name>
<value>1073741824</value>
<!-- datanode 写磁盘会预留 1G空间 给其他程序使用,而非写满,单位 bytes-->
</property>
 
<property>
<name>dfs.block.size</name>
<value>134217728</value>
<!--HDFS数据块大小,当前设置为128M/Blocka-->
</property>
 
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
<!-- HDFS 关闭文件权限 -->
</property>
 
</configuration>

4.4 vi etc/hadoop/mapred-site.xml  #配置MapReduce,使用yarn框架、jobhistory使用地址以及web地址

 <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>http://master:9001</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

4.5 vi etc/hadoop/yarn-site.xml  配置yarn-site.xml文件

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>

4.6 vi hadoop-env.sh及vi yarn-env.sh

将其中的${JAVA_HOME}用/usr/jdk1.7.0_79代替

5.检查单机版Hadoop

测试hdfs中的namenode与datanode:

 hadoop-daemon.sh start namenode
 chmod go-w /data/hadoop/hdfs/data/
 hadoop-daemon.sh start datanode

测试resourcemanager:

yarn-daemon.sh start resourcemanager

测试nodemanager:

 yarn-daemon.sh start nodemanager

 

测试historyserver:

 mr-jobhistory-daemon.sh start historyserver

 

执行jps

99297 Jps
99244 DataNode
98956 JobHistoryServer
98820 NodeManager
98118 NameNode
98555 ResourceManager

上述表明单机版hadoop安装成功

6.集群搭建

scp -r $HADOOP_HOME/ node1:/usr/local/
scp -r $HADOOP_HOME/ node2:/usr/local/

在master上进行配置

vi $HADOOP_HOME/etc/hadoop/slaves

删除localhost

添加

node1

node2

vi $HADOOP_HOME/etc/hadoop/masters

删除localhost

添加

node1   #目的是为了在node1节点上存放secondnamenode

7.测试集群是否搭建成功

$HADOOP_HOME/bin/hdfs namenode -format

master上

开启所有节点:start-all.sh(或start-dfs及start-yarn.sh代替)

各节点执行jps

master:
98956 JobHistoryServer
98820 NodeManager
118806 Jps
118176 NameNode
118540 ResourceManager
 
node1:
106408 SecondaryNameNode
106602 Jps
106301 DataNode
106496 NodeManager
 
node2:
105932 Jps
105812 NodeManager
105700 DataNode
 

存在上述状态,说明集群搭建成功

关闭所有节点:stop-all.sh(或stop-dfs.sh及stop-yarn.sh代替)

同时可以访问网页进行查看:

http://master:50070/

http://master:8088/

CentOS7.2下Hadoop2.7.2的集群搭建的更多相关文章

  1. Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)

    现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机 ...

  2. .Net Core2.1 秒杀项目一步步实现CI/CD(Centos7.2)系列一:k8s高可用集群搭建总结以及部署API到k8s

    前言:本系列博客又更新了,是博主研究很长时间,亲自动手实践过后的心得,k8s集群是购买了5台阿里云服务器部署的,这个集群差不多搞了一周时间,关于k8s的知识点,我也是刚入门,这方面的知识建议参考博客园 ...

  3. linux下redis的安装和集群搭建

    一.redis概述 1.1.目前redis支持的cluster特性: 1):节点自动发现. 2):slave->master 选举,集群容错. 3):Hot resharding:在线分片. 4 ...

  4. 基于Hadoop2.5.0的集群搭建

    http://download.csdn.net/download/yameing/8011891 一. 规划 1.  准备安装包 JDK:http://download.oracle.com/otn ...

  5. hadoop2.7全然分布式集群搭建以及任务測试

    要想深入的学习hadoop数据分析技术,首要的任务是必需要将hadoop集群环境搭建起来,本文主要讲述怎样搭建一套hadoop全然分布式集群环境. 环境配置:2台64位的redhat6.5 +  1台 ...

  6. Hadoop学习笔记(一):ubuntu虚拟机下的hadoop伪分布式集群搭建

    hadoop百度百科:https://baike.baidu.com/item/Hadoop/3526507?fr=aladdin hadoop官网:http://hadoop.apache.org/ ...

  7. hadoop-2.7.2 分布式集群搭建

    1.机器信息 五台centos 64位机器 2.集群规划 Server Name Hadoop Cluster Zookeeper   Ensemble HBase Cluster Hadoop01 ...

  8. hadoop2.2.0的ha分布式集群搭建

    hadoop2.2.0 ha集群搭建 使用的文件如下:    jdk-6u45-linux-x64.bin    hadoop-2.2.0.x86_64.tar    zookeeper-3.4.5. ...

  9. 实现CI/CDk8s高可用集群搭建总结以及部署API到k8s

    实现CI/CD(Centos7.2)系列二:k8s高可用集群搭建总结以及部署API到k8s 前言:本系列博客又更新了,是博主研究很长时间,亲自动手实践过后的心得,k8s集群是购买了5台阿里云服务器部署 ...

随机推荐

  1. 序列化流与反序列化流,打印流,工具类commons-IO

    1序列化流与反序列化流 用于从流中读取对象的操作流 ObjectInputStream    称为 反序列化流 用于向流中写入对象的操作流 ObjectOutputStream   称为 序列化流 特 ...

  2. 基于名称的虚拟主机-Apache

    基于名称的虚拟主机和基于IP的虚拟主机的对比 基于IP的虚拟主机使用连接的IP地址来识别(区分)正确的虚拟主机,所以对于每一个虚拟主机,你都需要有独立的IP地址. 基于名称的虚拟主机,服务器依赖于客户 ...

  3. 字符串在forEach方法里面可以使用include函数

    今天在写项目的时候,发现了一个问题,使用forEach函数,arr数组里面的字符串可以调用include方法,我查阅了很多地方,string里面没有这个方法. 但是在forEach函数里面确实可以这样 ...

  4. Android 开发干货,键盘状态

    地址:http://www.imooc.com/article/4711 [A]stateUnspecified:软键盘的状态并没有指定,系统将选择一个合适的状态或依赖于主题的设置 [B]stateU ...

  5. Oracle listener.ora 设置

  6. 大家一起和snailren学java-(一)对象导论

    OOP,是java语言的特性.面向对象思想贯穿整个java开发. 那什么是面向对象呢?什么是对象? 在面向对象设计语言看来,万事万物都为对象.生活中的一个物体,有自己的属性,有自己的活动.比如一辆汽车 ...

  7. Codeforces Round #319 (Div. 2) B Modulo Sum (dp,鸽巢)

    直接O(n*m)的dp也可以直接跑过. 因为上最多跑到m就终止了,因为前缀sum[i]取余数,i = 0,1,2,3...,m,有m+1个余数,m的余数只有m种必然有两个相同. #include< ...

  8. 【转】iOS学习笔记(十七)——文件操作(NSFileManager)

    iOS的沙盒机制,应用只能访问自己应用目录下的文件.iOS不像android,没有SD卡概念,不能直接访问图像.视频等内容.iOS应用产生的内容,如图像.文件.缓存内容等都必须存储在自己的沙盒内.默认 ...

  9. python_79_模块定义导入优化

    ''' 1.定义 模块:用来从逻辑上组织python代码(变量,函数,类,逻辑:实现一个功能),本质就是.py结尾的python文件 (文件名:test.py,对应的模块名:test. import ...

  10. prometheus-简介及安装

    监控是整个产品周期中最重要的一环,及时预警减少故障影响免扩大,而且能根据历史数据追溯问题. 对系统不间断实时监控 实时反馈系统当前状态 保证业务持续性运行 监控系统 监控方案 告警 特点 适用 Zab ...