环境:Linux, 8G 内存。60G 硬盘 , Hadoop 2.2.0

为了构建基于Yarn体系的Spark集群。先要安装Hadoop集群,为了以后查阅方便记录了我本次安装的详细步骤。

事前准备

1. 机器准备

三台主机,#后面说明了用途
  • 192.168.1.1   #hadoop1 : master
  • 192.168.1.2   #hadoop2 : datanode1
  • 192.168.1.3   #hadoop3:  datanode2

在hadoop1上, vi /etc/sysconfig/network,改动HOSTNAME=hadoop1
在hadoop2上, vi /etc/sysconfig/network,改动HOSTNAME=hadoop2
在hadoop3上, vi /etc/sysconfig/network,改动HOSTNAME=hadoop3

在三台机器上,在/etc/hosts末尾加入
  • 192.168.1.1   hadoop1
  • 192.168.1.2   hadoop2
  • 192.168.1.3   hadoop3

在hadoop1上, 执行 hostname hadoop1
在hadoop2上。 执行 hostname hadoop2
在hadoop3上, 执行 hostname hadoop3

exit重连之后,hostname 就会变成hadoop[1-3],这样做的优点是ssh hadoop2 会自己主动解析连接192.168.1.2。方便以后使用。

这也是短域名实现的方式。


2. 文件夹创建

$mkdir -p /hadoop/hdfs
$mkdir -p /hadoop/tmp
$mkdir -p /hadoop/log
$mkdir -p /usr/java ###java安装路径
$mkdir -p /usr/hadoop ###hadoop安装路径
$chmod -R 777 /hadoop

能够依据自己的情况确定安装路径。


安装Java

1. 下载JDK,并安装。建议安装JDK 1.7。

本次下载 jdk-7u60-linux-x64.tar.gz

http://www.oracle.com/technetwork/java/javase/downloads/index.html

$tar -zxvf jdk-7u60-linux-x64.tar.gz
$mv jdk1.7.0_60 java

凝视:下载的java 包类型不同。安装略有不同。
2. 配置Java 环境
能够改动/etc/profile,也能够改动自己home文件夹下的~/.profile(ksh)或者~/.bash_profile(bash),本次安装是bash。所以在.bash_profile 末尾加入
export JAVA_HOME=/usr/java
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
使环境马上生效。运行
$source .bash_profile

3. 检查Java是否成功安装

$ java -version
java version "1.7.0_60"
Java(TM) SE Runtime Environment (build 1.7.0_60-b19)
Java HotSpot(TM) 64-Bit Server VM (build 24.60-b09, mixed mode)

配置SSH 无password登录

hadoop1 上
$ mkdir .ssh
$ cd .ssh
$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/export/home/zilzhang/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in ~/.ssh/id_rsa.
Your public key has been saved in ~/.ssh/id_rsa.pub.
The key fingerprint is:
b0:76:89:6a:44:8b:cd:fc:23:a4:3f:69:55:3f:83:e3 ...
$ ls -lrt
total 2
-rw------- 1 887 Jun 30 02:10 id_rsa
-rw-r--r-- 1 232 Jun 30 02:10 id_rsa.pub
$ touch authorized_keys
$ cat id_rsa.pub >> authorized_keys

hadoop2和hadoop3上。相同生成公钥和私钥。

[hadoop2]$ mv id_rsa.pub pub2
[hadoop3]$ mv id_rsa.pub pub3

把pub2,pub3都scp到hadoop1上,然后

$ cat pub2 >> authorized_keys
$ cat pub3 >> authorized_keys

把authorized_keys scp到hadoop2和hadoop3上。这样就能够免password登录了。

一言以蔽之,就是在每台node上生成公钥和私钥,把全部公钥的内容汇总成authorized_keys,并把authorized_keys分发到集群全部node上同样的文件夹,这样每一个node都拥有整个集群node的公钥。互相之间就能够免password登录了。

验证免password登录。在hadoop1上:

$ ssh haoop1
ssh: Could not resolve hostname haoop1: Name or service not known
[zilzhang@hadoop3 hadoop]$ ssh hadoop1
The authenticity of host 'hadoop1 (192.168.1.1)' can't be established.
RSA key fingerprint is 18:85:c6:50:0c:15:36:9c:55:34:d7:ab:0e:1c:c7:0f.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'hadoop1' (RSA) to the list of known hosts. #################################################################
# #
# This system is for the use of authorized users only. #
# Individuals using this computer system without #
# authority, or in excess of their authority, are #
# subject to having all of their activities on this #
# system monitored and recorded by system personnel. #
# #
# In the course of monitoring individuals improperly #
# using this system, or in the course of system #
# maintenance, the activities of authorized users #
# may also be monitored. #
# #
# Anyone using this system expressly consents to such #
# monitoring and is advised that if such monitoring #
# reveals possible evidence of criminal activity, #
# system personnel may provide the evidence of such #
# monitoring to law enforcement officials. #
# #
# This system/database contains restricted data. #
# #
################################################################# [hadoop1 ~]$

安装Hadoop

1. 下载与解压(全部节点)
$ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
$ tar -zxvf hadoop-2.2.0.tar.gz
$ mv hadoop-2.2.0 /usr/hadoop

下面都执行在haoop1上
2. 配置环境变量,在.bash_profile末尾加入


export HADOOP_HOME=/usr/hadoop

export HADOOP_MAPARED_HOME=${HADOOP_HOME}

export HADOOP_COMMON_HOME=${HADOOP_HOME}

export HADOOP_HDFS_HOME=${HADOOP_HOME}

export YARN_HOME=${HADOOP_HOME}

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source .bash_profile
3. $HADOOP_HOME/etc/hadoop/hadoop-env.sh,末尾加入
export JAVA_HOME=/usr/java/java

4. $HADOOP_HOME/etc/hadoop/core-site.xml 加入

<property>

 <name>hadoop.tmp.dir</name>

 <value>/hadoop/tmp</value>

 <description>A base for other temporary directories.</description>

</property>

 <property>

 <name>fs.default.name</name>

 <value>hdfs://192.168.1.1:9000</value>

</property>

5. $HADOOP_HOME/etc/hadoop/slaves 内容变为(datanode)

192.168.1.2

192.168.1.3

6. $HADOOP_HOME/etc/hadoop/hdfs-site.xml 加入

<property>

 <name>dfs.replication</name>

 <value>3</value>

</property>

 

<property>

 <name>dfs.namenode.name.dir</name>

 <value>file:/hadoop/hdfs/name</value>

 <final>true</final>

</property>

 

<property>

 <name>dfs.federation.nameservice.id</name>

 <value>ns1</value>

</property>

 

<property>

 <name>dfs.namenode.backup.address.ns1</name>

 <value>192.168.1.1:50100</value>

</property>

 

<property>

 <name>dfs.namenode.backup.http-address.ns1</name>

 <value>192.168.1.1:50105</value>

</property>

 

<property>

 <name>dfs.federation.nameservices</name>

 <value>ns1</value>

</property>

 

<property>

 <name>dfs.namenode.rpc-address.ns1</name>

 <value>192.168.1.1:9000</value>

</property>

<property>

 <name>dfs.namenode.rpc-address.ns2</name>

 <value>192.168.1.1:9000</value>

</property>

 

<property>

 <name>dfs.namenode.http-address.ns1</name>

 <value>192.168.1.1:23001</value>

</property>

 

<property>

 <name>dfs.namenode.http-address.ns2</name>

 <value>192.168.1.1:13001</value>

</property>

 

<property>

 <name>dfs.dataname.data.dir</name>

 <value>file:/hadoop/hdfs/data</value>

 <final>true</final>

</property>

 

<property>

 <name>dfs.namenode.secondary.http-address.ns1</name>

 <value>192.168.1.1:23002</value>

</property>

 

<property>

 <name>dfs.namenode.secondary.http-address.ns2</name>

 <value>192.168.1.1:23002</value>

</property>

 

<property>

 <name>dfs.namenode.secondary.http-address.ns1</name>

 <value>192.168.1.1:23003</value>

</property>

 

<property>

 <name>dfs.namenode.secondary.http-address.ns2</name>

 <value>192.168.1.1:23003</value>

</property>

7. $HADOOP_HOME/etc/hadoop/yarn-site.xml 加入

<property>

 <name>yarn.resourcemanager.address</name>

 <value>192.168.1.1:18040</value>

</property>

 

<property>

 <name>yarn.resourcemanager.scheduler.address</name>

 <value>192.168.1.1:18030</value>

</property>

 

<property>

 <name>yarn.resourcemanager.webapp.address</name>

 <value>192.168.1.1:50030</value>

</property>

 

<property>

 <name>yarn.resourcemanager.resource-tracker.address</name>

 <value>192.168.1.1:18025</value>

</property>

 

<property>

 <name>yarn.resourcemanager.admin.address</name>

 <value>192.168.1.1:18141</value>

</property>

 

<property>

 <name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

</property>

<property> 

    <name>yarn.web-proxy.address</name> 

      <value>hadoop1-9014.lvs01.dev.ebayc3.com:54315</value> 

</property>

8. $HADOOP_HOME/etc/hadoop/httpfs-site.xml 加入

<property>

 <name>hadoop.proxyuser.root.hosts</name>

 <value>192.168.1.1</value>

</property>

 <property>

 <name>hadoop.proxyuser.root.groups</name>

 <value>*</value>

</property>

9. $HADOOP_HOME/etc/hadoop/mapred-site.xml 加入(配置job提交到yarn上而且配置history log server)

<property>

   <name>mapreduce.framework.name</name>

   <value>yarn</value>

   <description>Execution framework set to Hadoop YARN.</description>

</property>

<property>

 <name>mapreduce.jobhistory.address</name>

  <value>hadoop1-9014.lvs01.dev.ebayc3.com:10020</value>

</property>

<property>

  <name>mapreduce.jobhistory.webapp.address</name>

  <value>hadoop1-9014.lvs01.dev.ebayc3.com:19888</value>

</property>

<property>

  <name>mapreduce.jobhistory.intermediate-done-dir</name>

  <value>/log/tmp</value>

</property>

<property>

  <name>mapreduce.jobhistory.done-dir</name>

  <value>/log/history</value>

</property>

这个是说明把job放到yarn 上去跑。

10. 配置同步到其它datanode上

$ scp ~/.bash_profile hadoop2:~/.bash_profile
$ scp $HADOOP_HOME/etc/hadoop/hadoop-env.sh hadoop2:$HADOOP_HOME/etc/hadoop/
$ scp $HADOOP_HOME/etc/hadoop/core-site.xml hadoop2:$HADOOP_HOME/etc/hadoop/
$ scp $HADOOP_HOME/etc/hadoop/slaves hadoop2:$HADOOP_HOME/etc/hadoop/
$ scp $HADOOP_HOME/etc/hadoop/hdfs-site.xml hadoop2:$HADOOP_HOME/etc/hadoop/
$ scp $HADOOP_HOME/etc/hadoop/yarn-site.xml hadoop2:$HADOOP_HOME/etc/hadoop/
$ scp $HADOOP_HOME/etc/hadoop/httpfs-site.xml hadoop2:$HADOOP_HOME/etc/hadoop/
$ scp $HADOOP_HOME/etc/hadoop/mapred-site.xml hadoop2:$HADOOP_HOME/etc/hadoop/

把hadoop2改成hadoop3,,把配置同步到hadoop3上

启动Hadoop集群

1. 格式化

hadoop namenode -format

2. 启动hdfs

start-dfs.sh

3. 启动yarn

start-yarn.sh
 
4. 启动history server
 
mr-jobhistory-daemon.sh start historyserver

5. 启动proxy server
 
yarn-daemons.sh start proxyserver

httpfs.sh start
6. 创建日志存放文件夹
hadoop fs -mkdir -p /log/tmp
hadoop fs -mkdir -p /log/history

測试hadoop集群

1. hadoop1,看看进程是否已经开启
$ jps
8606 NameNode
4640 Bootstrap
17007 Jps
16077 ResourceManager
8781 SecondaryNameNode

这些进程必须都有

2. 在hadoop2 上看进程是否开启

$ jps
5992 Jps
5422 NodeManager
3292 DataNode

这些进程必须都有

3. hadoop fs -ls /    看能否够列出文件

4. 測试hadoop job
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /output7

假设执行正常,能够在job monitor页面看到job执行状况。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvemxjZDE5ODg=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center">




总结:在安装过程中会遇到各种问题,这里不一一列示,以免太过啰嗦。

Hadoop Yarn 安装的更多相关文章

  1. Hadoop Yarn(一)—— 单机伪分布式环境安装

    HamaWhite(QQ:530422429)原创作品,转载请注明出处:http://write.blog.csdn.net/postedit/40556267. 本文是依据Hadoop官网安装教程写 ...

  2. Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装

    Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...

  3. 三、hadoop、yarn安装配置

    本文hadoop的安装版本为hadoop-2.6.5 关闭防火墙 systemctl stop firewalld 一.安装JDK 1.下载java jdk1.8版本,放在/mnt/sata1目录下, ...

  4. Hadoop Linux安装

    Hadoop Linux安装 步骤流程 1.硬件准备 2.软件准备(推荐CDH) 3.将Hadoop安装包分发到各个节点下 4.安装JDK 5.修改/etc/hosts配置文件 6.设置SSH免密码登 ...

  5. Storm on Yarn 安装配置

    1.背景知识 在不修改Storm任何源代码的情况下,让Storm运行在YARN上,最简单的实现方法是将Storm的各个服务组件(包括Nimbus和Supervisor),作为单独的任务运行在YARN上 ...

  6. centos中-hadoop单机安装及伪分布式运行实例

    创建用户并加入授权 1,创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 2,修改sudo的配置文件,位于/etc/sudoers,需要root权限才可以读 ...

  7. hadoop单机版安装及基本功能演示

    本文所使用的Linux发行版本为:CentOS Linux release 7.4.1708 (Core) hadoop单机版安装 准备工作 创建用户 useradd -m hadoop passwd ...

  8. hadoop的安装和配置(三)完全分布式模式

    博主会用三篇文章为大家详细说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 完全分布式模式: 前面已经说了本地模式和伪分布模式,这两种在hadoop的应用中并不用于实际,因为几乎没人会 ...

  9. hadoop的安装和配置(二)伪分布模式

    博主会用三篇文章为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 伪分布式模式: 这篇为大家带来hadoop的伪分布模式: 从最简单的方面来说,伪分布模式就是在本地模式上修 ...

随机推荐

  1. 使用 Go-Ethereum 1.7.2搭建以太坊私有链

    目录 [toc] 1.什么是Ethereum(以太坊) 以太坊(Ethereum)并不是一个机构,而是一款能够在区块链上实现智能合约.开源的底层系统,以太坊从诞生到2017年5月,短短3年半时间,全球 ...

  2. python密码错误三次锁定

    程序需求: 输入用户名,密码 认证成功显示欢迎信息 输入错误三次后锁定用户 流程图: 好像画的不咋地 #!/usr/bin/env python # _*_ coding:utf-8 _*_ # Fi ...

  3. Attribute在.NET编程中的应用(三)

    用于参数的Attribute 在编写多层应用程序的时候,你是否为每次要写大量类似的数据访问代码而感到枯燥无味?比如我们需要编写调用存储过程的代码,或者编写T_SQL代码,这些代码往往需要传递各种参数, ...

  4. C# 使用正则表达式去掉字符串中的数字

    /// <summary>/// 去掉字符串中的数字/// </summary>/// <param name="key"></param ...

  5. mac环境下支持PHP调试工具xdebug,不需要建项目server

    先让php支持xdebug 方式一: https://xdebug.org/download.php 下载相应的xdebug  可以到http://xdebug.org/wizard.php 把php ...

  6. 前端如何处理emoji表情

    这段时间在做移动端的开发, 有一个功能就是发表评论,其实这个功能本身是比较简单的, 但是在提测是的时候QA给哦提了一个bug,说输入手机自带的emoji表情发送失败了.我就奇怪了,emoji表情也是文 ...

  7. nginx-http-concat资源文件合并模块

    网页中引入多个CSS和JS的时候,浏览器会发出很多(css个数+js个数)次网络请求,甚至有的网页中有数十个以上的CSS或JS文件,用户体验特别不好,正好可以利用nginx-http-concat n ...

  8. Zuul(SpringCloud学习笔记一)

    路由是微服务架构中必须(integral )的一部分,比如,"/" 可能映射到你的WEB程序上,"/api/users "可能映射到你的用户服务上," ...

  9. Spring4 JDBC详解

    Spring4 JDBC详解 在之前的Spring4 IOC详解 的文章中,并没有介绍使用外部属性的知识点.现在利用配置c3p0连接池的契机来一起学习.本章内容主要有两个部分:配置c3p0(重点)和 ...

  10. 字符串的缺点以及StringBuilder

    字符串的缺点: String 对象是不可改变的.每次使用 System.String 类中的方法之一时,都要在内存中创建一个新的字符串对象,这就需要为该新对象分配新的空间.在需要对字符串执行重复修改的 ...