本次Hadoop集群安装一共使用四个节点,各节点IP如下:

Master

172.22.120.191

Slave1

172.22.120.192

Slave2

172.22.120.193

Slave3

172.22.120.193

系统版本CentOS 6.2L

JDK版本:1.7

Hadoop版本:1.1.2

完成四个节点系统安装后,开始安装hadoop:

1. 配置hosts文件

2. 配置SSH免密码登录

3. 安装JDK

4. 下载并解压hadoop

5. 配置namenode,修改site文件

6. 配置hadoop-env.sh文件

7. 配置masters和Slaves文件

8. 向各节点复制hadoop

9. 格式化namenode

10. 启动hadoop

11. Jps检测是否启动成功

12. 通过网站查看集群情况

1 配置hosts文件

Hadoop会使用多个端口,开始配置前最好开放相应端口或者关闭防火墙

CentOS命令为:

chkconfig iptables off

service iptables stop

为了方便操作,我们直接配置hosts文件,以后可以直接使用master,slave来代替IP

2 配置SSH免密码登录

因为hadoop需要用master节点管理其它节点,需要将master的public key发送给其他节点,使用SSH可以减少很多操作。

返回hadoop账号,创建hadoop用户的密钥:

生成密钥后,将public key更名为authorized_keys文件,并测试是否可以免密码登录:

输入命令: ssh master,检测是否需要密码,第一次会提示是否保存密钥,输入yes即可,在其他三个节点中执行相同的操作。

最后将master节点的 id_rsa.pub的内容追加到其他三个节点的authorized_keys中。

如果成功,则可以直接使用 ssh slave 连接其他节点。

3 安装JDK

先查看自带jdk,这里是openJDK,我们需要卸载然后重新安装JDK

查看openJDK依赖包,依次卸载

将jdk文件复制到master节点 /usr/local 目录下并解压。

修改 /etc/profile 文件,添加Jdk目录

输入 source /etc/profile 使配置生效

最后查看java版本

尽量保持各节点jdk版本和路径一直,方便后续安装

4 下载并解压hadoop

修改 /etc/profile文件,添加hadoop路径

最后使 profile文件生效,输入 source /etc/profile

5 配置namenode,修改site文件

6 配置hadoop-env.sh文件

7 配置masters和Slaves文件

8 向各节点复制hadoop

对其他节点执行相同操作,将Hadoop文件发送到节点

9 格式化namenode

在第一次启动时格式化namenode,多次格式化可能会使namenode和datanodeID不一致

10 启动hadoop

11 Jps检测是否启动成功

12 通过网站查看集群情况

Hadoop配置安装手册的更多相关文章

  1. Ubuntu下Hadoop快速安装手册

    http://www.linuxidc.com/Linux/2012-02/53106.htm 一.环境 Ubuntu 10.10+jdk1.6 二.下载&安装程序 1.1 Apache Ha ...

  2. hadoop 配置安装

    1.   下载hadoop 压缩包,   拷贝到 /usr/hadoop目录下   tar -zxvf  hadoop-2.7.1.tar.gz, 比如: 127.0.0.1 localhost 19 ...

  3. Hadoop单机版安装,配置,运行

    Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版上安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵.. ...

  4. hadoop的安装和配置(三)完全分布式模式

    博主会用三篇文章为大家详细说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 完全分布式模式: 前面已经说了本地模式和伪分布模式,这两种在hadoop的应用中并不用于实际,因为几乎没人会 ...

  5. hadoop的安装和配置(二)伪分布模式

    博主会用三篇文章为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 伪分布式模式: 这篇为大家带来hadoop的伪分布模式: 从最简单的方面来说,伪分布模式就是在本地模式上修 ...

  6. hadoop的安装和配置(一)本地模式

    博主会用三篇文章来为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 本地模式: 思路走向 |--------------------| | ①:配置Java环境  | | ...

  7. Hadoop配置第2节-JDK的安装

    Hadoop配置-JDK的安装 总体目标:完成zookeeper+Hadoop+Hbase 整合平台搭建   进度:1:集群网络属性配置2:集群免密码登陆配置3:JDK的安装4:Zookeeper的安 ...

  8. Hadoop HDFS安装、环境配置

    hadoop安装 进入Xftp将hadoop-2.7.3.tar.gz 复制到自己的虚拟机系统下的放软件的地方,我的是/soft/software 在虚拟机系统装软件文件里,进行解压缩并重命名 进入p ...

  9. 在虚拟机上配置安装hadoop集群

    原本以为有大神已经总结的很清楚了,就不自己在写了, 但是在自己安装的过程中还是出现了一些问题, 所以打算以自己的方式重新总结一下.    参考https://blog.csdn.net/hliq539 ...

随机推荐

  1. Superpixel Based RGB-D Image Segmentation Using Markov Random Field——阅读笔记

    1.基本信息 题目:使用马尔科夫场实现基于超像素的RGB-D图像分割: 作者所属:Ferdowsi University of Mashhad(Iron) 发表:2015 International ...

  2. [Notes] Learn Python2.7 From Python Tutorial

    I have planed to learn Python for many times. I have started to learn Python for many times . Howeve ...

  3. Luogu题目集合[6/未完待续]

    1. P1327数列排序 题目描述 给定一个数列{an},这个数列满足ai≠aj(i≠j),现在要求你把这个数列从小到大排序,每次允许你交换其中任意一对数,请问最少需要几次交换? 输入输出格式 输入格 ...

  4. 第五章项目:QuickHit

    需求概述: 根据输入速率和正确率将玩家分为不同级别,级别越高,一次显示的字符数越多,玩家正确输入一次的得分也越高.如果玩家在规定时间内完成规定次数的输入,正确率达到规定要求,则玩家升级(为了简单起见, ...

  5. JVM再了解了解

    转自 http://www.cnblogs.com/Coda/p/4331432.html 相信大家已经了解到Java具有跨平台的特性,可以“一次编译,到处运行”,在Windows下编写的程序,无需任 ...

  6. 万能的 SQL编程

    简介:T-SQL语句创建库.创建表和听.和添加约束等.T-SQL是数据库结构化查询语言,常见的增加.删出.修改.查询.创建库和创建表的语句,还支持定义变量.输出语句.逻辑控制语句(IF.CASE.WH ...

  7. MySQL 基础语句的练习

    -- *** ①.对数据库的操作 *** -- -- 查看所有的数据库 SHOW DATABASES; -- 创建数据库 CREATE DATABASE day1026 DEFAULT CHARACT ...

  8. chrome插件编写之新版hello world

    编写chrome插件之前,需要熟悉一下相应的chrome插件开发环境.从编写hello world开始,参考阅读官方的教程,是一个不错的选择.这里主要是基于chrome的官方教程,稍稍做了一些修改和扩 ...

  9. Centos6.5 设置nfs

    安装 rpcbind 和 nfs-utils yum install rpcbind yum install nfs-utils 设置共享目录 [root@bogon ~]# vim /etc/exp ...

  10. 兼容利器之X-UA-Compatible

    文档兼容模式 不同浏览器之间经常产生各种奇异的现象,为了解决这些问题,使用以下方法,发现很多问题自动消失不见了 <meta http-equiv="X-UA-Compatible&qu ...