本次Hadoop集群安装一共使用四个节点,各节点IP如下:

Master

172.22.120.191

Slave1

172.22.120.192

Slave2

172.22.120.193

Slave3

172.22.120.193

系统版本CentOS 6.2L

JDK版本:1.7

Hadoop版本:1.1.2

完成四个节点系统安装后,开始安装hadoop:

1. 配置hosts文件

2. 配置SSH免密码登录

3. 安装JDK

4. 下载并解压hadoop

5. 配置namenode,修改site文件

6. 配置hadoop-env.sh文件

7. 配置masters和Slaves文件

8. 向各节点复制hadoop

9. 格式化namenode

10. 启动hadoop

11. Jps检测是否启动成功

12. 通过网站查看集群情况

1 配置hosts文件

Hadoop会使用多个端口,开始配置前最好开放相应端口或者关闭防火墙

CentOS命令为:

chkconfig iptables off

service iptables stop

为了方便操作,我们直接配置hosts文件,以后可以直接使用master,slave来代替IP

2 配置SSH免密码登录

因为hadoop需要用master节点管理其它节点,需要将master的public key发送给其他节点,使用SSH可以减少很多操作。

返回hadoop账号,创建hadoop用户的密钥:

生成密钥后,将public key更名为authorized_keys文件,并测试是否可以免密码登录:

输入命令: ssh master,检测是否需要密码,第一次会提示是否保存密钥,输入yes即可,在其他三个节点中执行相同的操作。

最后将master节点的 id_rsa.pub的内容追加到其他三个节点的authorized_keys中。

如果成功,则可以直接使用 ssh slave 连接其他节点。

3 安装JDK

先查看自带jdk,这里是openJDK,我们需要卸载然后重新安装JDK

查看openJDK依赖包,依次卸载

将jdk文件复制到master节点 /usr/local 目录下并解压。

修改 /etc/profile 文件,添加Jdk目录

输入 source /etc/profile 使配置生效

最后查看java版本

尽量保持各节点jdk版本和路径一直,方便后续安装

4 下载并解压hadoop

修改 /etc/profile文件,添加hadoop路径

最后使 profile文件生效,输入 source /etc/profile

5 配置namenode,修改site文件

6 配置hadoop-env.sh文件

7 配置masters和Slaves文件

8 向各节点复制hadoop

对其他节点执行相同操作,将Hadoop文件发送到节点

9 格式化namenode

在第一次启动时格式化namenode,多次格式化可能会使namenode和datanodeID不一致

10 启动hadoop

11 Jps检测是否启动成功

12 通过网站查看集群情况

Hadoop配置安装手册的更多相关文章

  1. Ubuntu下Hadoop快速安装手册

    http://www.linuxidc.com/Linux/2012-02/53106.htm 一.环境 Ubuntu 10.10+jdk1.6 二.下载&安装程序 1.1 Apache Ha ...

  2. hadoop 配置安装

    1.   下载hadoop 压缩包,   拷贝到 /usr/hadoop目录下   tar -zxvf  hadoop-2.7.1.tar.gz, 比如: 127.0.0.1 localhost 19 ...

  3. Hadoop单机版安装,配置,运行

    Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版上安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵.. ...

  4. hadoop的安装和配置(三)完全分布式模式

    博主会用三篇文章为大家详细说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 完全分布式模式: 前面已经说了本地模式和伪分布模式,这两种在hadoop的应用中并不用于实际,因为几乎没人会 ...

  5. hadoop的安装和配置(二)伪分布模式

    博主会用三篇文章为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 伪分布式模式: 这篇为大家带来hadoop的伪分布模式: 从最简单的方面来说,伪分布模式就是在本地模式上修 ...

  6. hadoop的安装和配置(一)本地模式

    博主会用三篇文章来为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 本地模式: 思路走向 |--------------------| | ①:配置Java环境  | | ...

  7. Hadoop配置第2节-JDK的安装

    Hadoop配置-JDK的安装 总体目标:完成zookeeper+Hadoop+Hbase 整合平台搭建   进度:1:集群网络属性配置2:集群免密码登陆配置3:JDK的安装4:Zookeeper的安 ...

  8. Hadoop HDFS安装、环境配置

    hadoop安装 进入Xftp将hadoop-2.7.3.tar.gz 复制到自己的虚拟机系统下的放软件的地方,我的是/soft/software 在虚拟机系统装软件文件里,进行解压缩并重命名 进入p ...

  9. 在虚拟机上配置安装hadoop集群

    原本以为有大神已经总结的很清楚了,就不自己在写了, 但是在自己安装的过程中还是出现了一些问题, 所以打算以自己的方式重新总结一下.    参考https://blog.csdn.net/hliq539 ...

随机推荐

  1. cookie实现自动登录

    有很多Web程序中第一次登录后,在一定时间内(如2个小时)再次访问同一个Web程序时就无需再次登录,而是直接进入程序的主界面(仅限于本机).实现这个功能关键就是服务端要识别客户的身份.而用Cookie ...

  2. Device ehth0 is not present

    context: 使用virtualbox 克隆了一个新硬盘,然后配为新建虚机的使用,但ifconfig只能发现lo,没有eth0 解决方案: 当前系统是centos6.6 cd /etc/udev/ ...

  3. 用CSS开启硬件加速来提高网站性能(转)

    翻译文章,原文地址:http://blog.teamtreehouse.com/increase-your-sites-performance-with-hardware-accelerated-cs ...

  4. 翻译《Writing Idiomatic Python》(四):字典、集合、元组

    原书参考:http://www.jeffknupp.com/blog/2012/10/04/writing-idiomatic-python/ 上一篇:翻译<Writing Idiomatic ...

  5. Unity Project Wizard (最近打开的项目记录)

    最近打开工程列表 当用Unity打开过的项目越来越多之后,在最近打开项目记录框中就会变的很长,那么如何才能删除最近打开的记录呢? Unity4.x最近打开的工程记录 Unity5.x最近打开的工程记录 ...

  6. UWP数据绑定

    [ 已针对 Windows 10 上的 UWP 应用更新. 有关 Windows 8.x 文章,请参阅存档 ] 数据绑定是你的应用 UI 用来显示数据的一种方法,可以选择与该数据保持同步. 借助数据绑 ...

  7. jdbc与 Beanshell PostProcessor 对多条结果的处理

    配置了数据库后,可以通过Beanshell对结果进行特别的操作,一下为对多条数据的处理 数据库的配置如图:

  8. AJAX、JQUERY 工作遇到的知识点

    泽浜商城关联公司知识点总结 1.关联公司的时候,根据用户ID,在数据库中用户表中关联公司ID,公司的列表通过查找公司表 ,然后抓取所有公司的名称和ID.关联的时候只需要根据公司name和ID进行关联. ...

  9. LoadRunner 12.02 安装教程及中文语言包安装

    注意事项: 安装前,把所有的杀毒软件和防火墙关闭. 若以前安装过LoadRunner,则将其卸载. 安装路径不要带中文字符. LoadRunner 12已经不再支持xp系统,仅支持win7和win8系 ...

  10. QFontMetrics的一个问题

    今天发现QFontMetric的一个问题 QFontMetrics可以输入一个字体和一个字符串,计算出字符串在这种字体下的显示尺寸. 这种计算比较耗时间,因此Qt内部应该是缓存了计算结果.具体方法是在 ...