Hadoop配置安装手册
本次Hadoop集群安装一共使用四个节点,各节点IP如下:
Master |
172.22.120.191 |
Slave1 |
172.22.120.192 |
Slave2 |
172.22.120.193 |
Slave3 |
172.22.120.193 |
系统版本CentOS 6.2L
JDK版本:1.7
Hadoop版本:1.1.2
完成四个节点系统安装后,开始安装hadoop:
1. 配置hosts文件
2. 配置SSH免密码登录
3. 安装JDK
4. 下载并解压hadoop
5. 配置namenode,修改site文件
6. 配置hadoop-env.sh文件
7. 配置masters和Slaves文件
8. 向各节点复制hadoop
9. 格式化namenode
10. 启动hadoop
11. Jps检测是否启动成功
12. 通过网站查看集群情况
1 配置hosts文件
Hadoop会使用多个端口,开始配置前最好开放相应端口或者关闭防火墙
CentOS命令为:
chkconfig iptables off
service iptables stop
为了方便操作,我们直接配置hosts文件,以后可以直接使用master,slave来代替IP
2 配置SSH免密码登录
因为hadoop需要用master节点管理其它节点,需要将master的public key发送给其他节点,使用SSH可以减少很多操作。
返回hadoop账号,创建hadoop用户的密钥:
生成密钥后,将public key更名为authorized_keys文件,并测试是否可以免密码登录:
输入命令: ssh master,检测是否需要密码,第一次会提示是否保存密钥,输入yes即可,在其他三个节点中执行相同的操作。
最后将master节点的 id_rsa.pub的内容追加到其他三个节点的authorized_keys中。
如果成功,则可以直接使用 ssh slave 连接其他节点。
3 安装JDK
先查看自带jdk,这里是openJDK,我们需要卸载然后重新安装JDK
查看openJDK依赖包,依次卸载
将jdk文件复制到master节点 /usr/local 目录下并解压。
修改 /etc/profile 文件,添加Jdk目录
输入 source /etc/profile 使配置生效
最后查看java版本
尽量保持各节点jdk版本和路径一直,方便后续安装
4 下载并解压hadoop
修改 /etc/profile文件,添加hadoop路径
最后使 profile文件生效,输入 source /etc/profile
5 配置namenode,修改site文件
6 配置hadoop-env.sh文件
7 配置masters和Slaves文件
8 向各节点复制hadoop
对其他节点执行相同操作,将Hadoop文件发送到节点
9 格式化namenode
在第一次启动时格式化namenode,多次格式化可能会使namenode和datanodeID不一致
10 启动hadoop
11 Jps检测是否启动成功
12 通过网站查看集群情况
Hadoop配置安装手册的更多相关文章
- Ubuntu下Hadoop快速安装手册
http://www.linuxidc.com/Linux/2012-02/53106.htm 一.环境 Ubuntu 10.10+jdk1.6 二.下载&安装程序 1.1 Apache Ha ...
- hadoop 配置安装
1. 下载hadoop 压缩包, 拷贝到 /usr/hadoop目录下 tar -zxvf hadoop-2.7.1.tar.gz, 比如: 127.0.0.1 localhost 19 ...
- Hadoop单机版安装,配置,运行
Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版上安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵.. ...
- hadoop的安装和配置(三)完全分布式模式
博主会用三篇文章为大家详细说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 完全分布式模式: 前面已经说了本地模式和伪分布模式,这两种在hadoop的应用中并不用于实际,因为几乎没人会 ...
- hadoop的安装和配置(二)伪分布模式
博主会用三篇文章为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 伪分布式模式: 这篇为大家带来hadoop的伪分布模式: 从最简单的方面来说,伪分布模式就是在本地模式上修 ...
- hadoop的安装和配置(一)本地模式
博主会用三篇文章来为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 本地模式: 思路走向 |--------------------| | ①:配置Java环境 | | ...
- Hadoop配置第2节-JDK的安装
Hadoop配置-JDK的安装 总体目标:完成zookeeper+Hadoop+Hbase 整合平台搭建 进度:1:集群网络属性配置2:集群免密码登陆配置3:JDK的安装4:Zookeeper的安 ...
- Hadoop HDFS安装、环境配置
hadoop安装 进入Xftp将hadoop-2.7.3.tar.gz 复制到自己的虚拟机系统下的放软件的地方,我的是/soft/software 在虚拟机系统装软件文件里,进行解压缩并重命名 进入p ...
- 在虚拟机上配置安装hadoop集群
原本以为有大神已经总结的很清楚了,就不自己在写了, 但是在自己安装的过程中还是出现了一些问题, 所以打算以自己的方式重新总结一下. 参考https://blog.csdn.net/hliq539 ...
随机推荐
- cookie实现自动登录
有很多Web程序中第一次登录后,在一定时间内(如2个小时)再次访问同一个Web程序时就无需再次登录,而是直接进入程序的主界面(仅限于本机).实现这个功能关键就是服务端要识别客户的身份.而用Cookie ...
- Device ehth0 is not present
context: 使用virtualbox 克隆了一个新硬盘,然后配为新建虚机的使用,但ifconfig只能发现lo,没有eth0 解决方案: 当前系统是centos6.6 cd /etc/udev/ ...
- 用CSS开启硬件加速来提高网站性能(转)
翻译文章,原文地址:http://blog.teamtreehouse.com/increase-your-sites-performance-with-hardware-accelerated-cs ...
- 翻译《Writing Idiomatic Python》(四):字典、集合、元组
原书参考:http://www.jeffknupp.com/blog/2012/10/04/writing-idiomatic-python/ 上一篇:翻译<Writing Idiomatic ...
- Unity Project Wizard (最近打开的项目记录)
最近打开工程列表 当用Unity打开过的项目越来越多之后,在最近打开项目记录框中就会变的很长,那么如何才能删除最近打开的记录呢? Unity4.x最近打开的工程记录 Unity5.x最近打开的工程记录 ...
- UWP数据绑定
[ 已针对 Windows 10 上的 UWP 应用更新. 有关 Windows 8.x 文章,请参阅存档 ] 数据绑定是你的应用 UI 用来显示数据的一种方法,可以选择与该数据保持同步. 借助数据绑 ...
- jdbc与 Beanshell PostProcessor 对多条结果的处理
配置了数据库后,可以通过Beanshell对结果进行特别的操作,一下为对多条数据的处理 数据库的配置如图:
- AJAX、JQUERY 工作遇到的知识点
泽浜商城关联公司知识点总结 1.关联公司的时候,根据用户ID,在数据库中用户表中关联公司ID,公司的列表通过查找公司表 ,然后抓取所有公司的名称和ID.关联的时候只需要根据公司name和ID进行关联. ...
- LoadRunner 12.02 安装教程及中文语言包安装
注意事项: 安装前,把所有的杀毒软件和防火墙关闭. 若以前安装过LoadRunner,则将其卸载. 安装路径不要带中文字符. LoadRunner 12已经不再支持xp系统,仅支持win7和win8系 ...
- QFontMetrics的一个问题
今天发现QFontMetric的一个问题 QFontMetrics可以输入一个字体和一个字符串,计算出字符串在这种字体下的显示尺寸. 这种计算比较耗时间,因此Qt内部应该是缓存了计算结果.具体方法是在 ...