CentOS7.2下Hadoop2.7.2的集群搭建
1.基本环境:
操作系统:
Centos 7.2.1511
三台虚机:
192.168.163.224 master
192.168.163.225 node1
192.168.163.226 node2
软件包
hadoop-2.7.2.tar.gz
jdk-7u79-linux-x64.tar.gz
2.配置系统环境
配置ntp时间同步
参考http://bigtrash.blog.51cto.com/8966424/1826481
修改hostname
192.168.163.224主机:
echo
"master"
>
/etc/hostname
192.168.163.225主机:echo
"node1"
>
/etc/hostname
192.168.163.226主机:echo
"node2"
>
/etc/hostname
master上修改hosts文件
echo
"192.168.163.224 master"
>>
/etc/hosts
echo
"192.168.163.225 node1"
>>
/etc/hosts
echo
"192.168.163.225 node2"
>>
/etc/hosts
同步到node1,node2上的主机
scp
/etc/hosts
node1:
/etc/
scp
/etc/hosts
node2:
/etc/
各台主机上相互ping,测试是否可以通过host连通
ping
master
ping
node1
ping
node2
master,node1,node2上关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
3.配置hadoop环境
master,node1,node2上安装jdk
rpm -qa|
grep
openjdk
#检查openjdk,存在则删除
yum remove *-openjdk-*
####删除openjdk#####
安装sunjdk
#yum install glibc.i686(64位系统安装32位包,需要安装)
#
tar -zxvf jdk-7u79-linux-x64.tar.gz<br>
#
mv ./jdk1.7.0_79 /usr/</span>
master,node1,node2上创建hadoop用户
useradd hadoop #增加hadoop用户,用户组、home目录、终端使用默认
passwd hadoop #修改密码
建议在学习阶段将hadoop用户加入sudo权限管理,简单方法如下
1.执行visudo命令
2.在root ALL=(ALL) ALL 后加入
hadoop ALL=(ALL) ALL
master,node1,node2上进入hadoop用户:
su - hadoop
master,node1,node2上无密钥连接:
master上的hadoop用户通过rsa算法生成非对称密钥对:
ssh
-keygen -t rsa
cd
/home/hadoop/
.
ssh
/
cp
id_rsa.pub authorized_keys
chmod
go-wx authorized_keys
master上的公钥authorized_keys拷贝到node1,node2上的hadoop用户
scp
authorized_keys node1:
/home/hadoop/
.
ssh
/
scp
authorized_keys node2:
/home/hadoop/
.
ssh
/
可通过如下命令测试
ssh node1
ssh node2
为方便node1,node2中hadoop用户可以同时登录master,这里我们集群中的所有用户共用一个密钥
scp
~/.
ssh
/id_rsa
node1:
/home/hadoop/
.
ssh
/
scp
~/.
ssh
/id_rsa
node2:
/home/hadoop/
.
ssh
/
master,node1,node2上修改环境变量
vi
/etc/profile
JAVA_HOME=
/usr/jdk1
.7.0_79
HADOOP_HOME=
/usr/local/hadoop
export
PATH=$JAVA_HOME
/bin
:$HADOOP_HOME
/sbin
:$HADOOP_HOME
/bin
:$PATH
su
- hadoop
#重新读取环境变量
master,node1,node2上创建相关目录
sudo
mkdir
-p
/usr/local/hadoop
sudo
chown
-R hadoop:hadoop
/usr/local/hadoop
sudo
mkdir
-p
/data/hadoop/
#创建 hadoop 数据目录结构
sudo
chown
-R hadoop:hadoop
/data/hadoop/
mkdir
-p
/data/hadoop/tmp/
#创建 tmp
mkdir
-p
/data/hadoop/hdfs/
#创建hdfs
mkdir
-p
/data/hadoop/hdfs/data
#创建datanode目录
mkdir
-p
/data/hadoop/hdfs/name
#创建namenode目录
mkdir
-p
/data/hadoop/hdfs/namesecondary
安装hadoop
wget http:
//mirror
.bit.edu.cn
/apache/hadoop/common/hadoop-2
.7.2
/hadoop-2
.7.2.
tar
.gz
tar
-zxvf hadoop-2.7.2.
tar
.gz
mv
hadoop-2.7.2
/usr/local/hadoop
chown
-R hadoop:hadoop
/usr/local/hadoop/
4.修改配置文件
配置文件相关变量详细解释可查看官网:
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/
cd
$HADOOP_HOME
/etc/hadoop
4.1 vi hadoop-env.sh
export
HADOOP_HEAPSIZE=128
#默认为1000M,这里我们修改为128M
4.2 vi core-site.xml #全局配置
<configuration> <property> <name>fs.defaultFS< /name > <value>hdfs: //master :9000< /value > <!--hadoop namenode 服务器地址和端口,以域名形式--> < /property > <property> <name>dfs.namenode.checkpoint.period< /name > <value>1800< /value > <!-- editlog每隔30分钟触发一次合并,默认为60分钟 --> < /property > < /property > <property> <name>fs.checkpoint.size< /name > <value>67108864< /value > < /property > <property> <name>fs.trash.interval< /name > <value>1440< /value > <!-- Hadoop文件回收站,自动回收时间,单位分钟,这里设置是1天,默认为0。--> < /property > <property> <name>hadoop.tmp. dir < /name > <value> /data/hadoop/tmp < /value > <!-- Hadoop的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。 /data/hadoop/tmp 这里给的路径不需要创建会自动生成.--> < /property > <property> <name>io. file .buffer.size< /name > <value>131702< /value > <!-- 流文件的缓冲区--> < /property > < /configuration > |
4.3 vi hdfs-site.xml #hdfs中NameNode,DataNode局部配置
<configuration> <property> <name>dfs.namenode.name. dir < /name > <value> /data/hadoop/hdfs/name < /value > <!--HDFS namenode数据镜象目录--> <description> < /description > < /property > <property> <name>dfs.datanode.data. dir < /name > <value> /data/hadoop/hdfs/data < /value > <!-- HDFS datanode数据镜象存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔 --> <description> < /description > < /property > <property> <name>dfs.namenode.http-address< /name > <value>master:50070< /value > <!---HDFS Web查看主机和端口--> < /property > <property> <name>dfs.namenode.secondary.http-address< /name > <value>node1:50090< /value > <!--辅控HDFS web查看主机和端口--> < /property > <property> <name>dfs.webhdfs.enabled< /name > <value> true < /value > < /property > <property> <name>dfs.replication< /name > <value>3< /value > <!--HDFS数据保存份数,通常是3--> < /property > <property> <name>dfs.datanode. du .reserved< /name > <value>1073741824< /value > <!-- datanode 写磁盘会预留 1G空间 给其他程序使用,而非写满,单位 bytes--> < /property > <property> <name>dfs.block.size< /name > <value>134217728< /value > <!--HDFS数据块大小,当前设置为128M /Blocka-- > < /property > <property> <name>dfs.permissions.enabled< /name > <value> false < /value > <!-- HDFS 关闭文件权限 --> < /property > < /configuration > |
4.4 vi etc/hadoop/mapred-site.xml #配置MapReduce,使用yarn框架、jobhistory使用地址以及web地址
<configuration> <property> <name>mapreduce.framework.name< /name > <value>yarn< /value > < /property > <property> <name>mapreduce.jobtracker.http.address< /name > <value>master:50030< /value > < /property > <property> <name>mapred.job.tracker< /name > <value>http: //master :9001< /value > < /property > <property> <name>mapreduce.jobhistory.address< /name > <value>master:10020< /value > < /property > <property> <name>mapreduce.jobhistory.webapp.address< /name > <value>master:19888< /value > < /property > < /configuration > cp etc /hadoop/mapred-site .xml.template etc /hadoop/mapred-site .xml |
4.5 vi etc/hadoop/yarn-site.xml 配置yarn-site.xml文件
<configuration> <property> <name>mapreduce.framework.name< /name > <value>yarn< /value > < /property > <property> <name>yarn.resourcemanager.address< /name > <value>master:8032< /value > < /property > <property> <name>yarn.resourcemanager.scheduler.address< /name > <value>master:8030< /value > < /property > <property> <name>yarn.resourcemanager.resource-tracker.address< /name > <value>master:8031< /value > < /property > <property> <name>yarn.resourcemanager.admin.address< /name > <value>master:8033< /value > < /property > <property> <name>yarn.resourcemanager.webapp.address< /name > <value>master:8088< /value > < /property > < /configuration > |
4.6 vi hadoop-env.sh及vi yarn-env.sh
将其中的${JAVA_HOME}用/usr/jdk1.7.0_79代替
5.检查单机版Hadoop
测试hdfs中的namenode与datanode:
hadoop-daemon.sh start namenode
chmod
go-w
/data/hadoop/hdfs/data/
hadoop-daemon.sh start datanode
测试resourcemanager:
yarn-daemon.sh start resourcemanager
测试nodemanager:
yarn-daemon.sh start nodemanager
测试historyserver:
mr-jobhistory-daemon.sh start historyserver
执行jps:
99297 Jps
99244 DataNode
98956 JobHistoryServer
98820 NodeManager
98118 NameNode
98555 ResourceManager
上述表明单机版hadoop安装成功
6.集群搭建
scp
-r $HADOOP_HOME/ node1:
/usr/local/
scp
-r $HADOOP_HOME/ node2:
/usr/local/
在master上进行配置
vi $HADOOP_HOME/etc/hadoop/slaves
删除localhost
添加
node1
node2
vi $HADOOP_HOME/etc/hadoop/masters
删除localhost
添加
node1 #目的是为了在node1节点上存放secondnamenode
7.测试集群是否搭建成功
$HADOOP_HOME/bin/hdfs namenode -format
master上
开启所有节点:start-all.sh(或start-dfs及start-yarn.sh代替)
各节点执行jps
master:
98956 JobHistoryServer
98820 NodeManager
118806 Jps
118176 NameNode
118540 ResourceManager
node1:
106408 SecondaryNameNode
106602 Jps
106301 DataNode
106496 NodeManager
node2:
105932 Jps
105812 NodeManager
105700 DataNode
存在上述状态,说明集群搭建成功
关闭所有节点:stop-all.sh(或stop-dfs.sh及stop-yarn.sh代替)
同时可以访问网页进行查看:
CentOS7.2下Hadoop2.7.2的集群搭建的更多相关文章
- Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)
现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机 ...
- .Net Core2.1 秒杀项目一步步实现CI/CD(Centos7.2)系列一:k8s高可用集群搭建总结以及部署API到k8s
前言:本系列博客又更新了,是博主研究很长时间,亲自动手实践过后的心得,k8s集群是购买了5台阿里云服务器部署的,这个集群差不多搞了一周时间,关于k8s的知识点,我也是刚入门,这方面的知识建议参考博客园 ...
- linux下redis的安装和集群搭建
一.redis概述 1.1.目前redis支持的cluster特性: 1):节点自动发现. 2):slave->master 选举,集群容错. 3):Hot resharding:在线分片. 4 ...
- 基于Hadoop2.5.0的集群搭建
http://download.csdn.net/download/yameing/8011891 一. 规划 1. 准备安装包 JDK:http://download.oracle.com/otn ...
- hadoop2.7全然分布式集群搭建以及任务測试
要想深入的学习hadoop数据分析技术,首要的任务是必需要将hadoop集群环境搭建起来,本文主要讲述怎样搭建一套hadoop全然分布式集群环境. 环境配置:2台64位的redhat6.5 + 1台 ...
- Hadoop学习笔记(一):ubuntu虚拟机下的hadoop伪分布式集群搭建
hadoop百度百科:https://baike.baidu.com/item/Hadoop/3526507?fr=aladdin hadoop官网:http://hadoop.apache.org/ ...
- hadoop-2.7.2 分布式集群搭建
1.机器信息 五台centos 64位机器 2.集群规划 Server Name Hadoop Cluster Zookeeper Ensemble HBase Cluster Hadoop01 ...
- hadoop2.2.0的ha分布式集群搭建
hadoop2.2.0 ha集群搭建 使用的文件如下: jdk-6u45-linux-x64.bin hadoop-2.2.0.x86_64.tar zookeeper-3.4.5. ...
- 实现CI/CDk8s高可用集群搭建总结以及部署API到k8s
实现CI/CD(Centos7.2)系列二:k8s高可用集群搭建总结以及部署API到k8s 前言:本系列博客又更新了,是博主研究很长时间,亲自动手实践过后的心得,k8s集群是购买了5台阿里云服务器部署 ...
随机推荐
- Linux用脚本守护进程
while true; do server=`ps -aux | grep tomcat | grep -v grep` if [ ! "$server" ]; then echo ...
- c# 视频播放
发表于: 2003-10-15 20:39:21 搞定了,嘿嘿!首先非常感谢zoujiaming在邮件中给我指了条路:用C#调用API搞定!!!使用的是mciSendString API函数主要参考了 ...
- MoinMoin install in apache (win)
一:下载环境 xampp:http://sourceforge.net/projects/xampp/files/XAMPP%20Windows/1.8.1/xampp-win32-1.8.1-VC9 ...
- Tomcat 下载及配置
1.下载 下载地址:http://tomcat.apache.org/ 进去后下拉到底部 2.解压 Tomcat不需要安装,直接解压即可.解压后会得到这么一个文件夹 3.在MyEclipse中配置To ...
- LayUI 完美兼容Vue.js
<div id="app"> <form class="layui-form" action=""> <div ...
- javascript 和Jquery 互转
jQuery对象转成DOM对象: 两种转换方式将一个jQuery对象转换成DOM对象:[index]和.get(index); (1)jQuery对象是一个数据对象,可以通过[index]的方法,来得 ...
- SqlServer中生成一串连续数字
在SQLServer中一串连续数字,如1,2,3,4,5,....或者 1 2 3 4 5 没有现成方法,网上都用通用表表达式递归生成.今天想到一个还算简单的方法,记录下来: select row_n ...
- 使用ABAP批量下载有道云笔记中的图片
Jerry喜欢用有道云笔记这款软件做自己的知识管理和知识体系的构建. 当您看到一篇好的有道云笔记分享时,可能会想将其精美的图片下载到本地.作为程序猿,我们不会去手动一张张下载.写个程序帮我们自动下载吧 ...
- MovieReview—Kingsman THE SECRET SERVICE(王牌特工之特工学院)
Brain Storming Mr. Valentine's Day see excess human beings as the Earth's virus and try to e ...
- win7下一直试用Beyond Compare 4
找到目录C:\Users\用户名\AppData\Roaming\BeyondCompare,将这个目录删除,重启compare即可.