Hadoop完全分布式集群安装
转载请注明原地址,谢谢!
本文目的是教大家配置Hadoop的完全分布式的集群,除了完全分布式还有两种分别是单节点和伪分布式部署。伪分布式只需要一台虚拟机,配置的东西也相对较少,大多用作代码调试,大家稍微查阅资料,或者对我的配置进行一些删减,就可以实现伪分布式,所以我这里还是使用完全分布式,开了三台虚拟机,都只分配了1G,1核的默认内存,跑得无压力,所以你的笔记本大概需要4G+的内存,就可以完成这个实验。
基于Hadoop 2.x版本和1.x版本的巨大差异,而我更熟悉1.x版本,所以本次使用的Hadoop版本是1.2.1,至于2的操作和配置,你熟悉了1以后一定是手到擒来,再者网上大多资料以及书籍都是基于1.x的,这样,即使你遇到了问题,也会更好解决。
至于Hadoop下载地址网上多的是,官网也有,大家可以自行获取,我用的Linux版本是Ubantu14.04,为什么选这个系统呢?因为我用得顺手。如果大家使用Centos,有些指令可能略有不同,不过这应该难不倒你,百度谷歌就能告诉你答案。
先行条件:
安装Hadoop之前,有两个先行条件,一个是JAVA环境的安装,因为Hadoop是基于java开发的,具体过程我后面会讲;另一个是实现SSH互通,这个大家上课做过实验,但是Ubantu的设置和Centos有所不同!!所以我也会写在下面。
让我们开始把!
注意:1.本实验全程不要使用sudo su操作,那样非常不专业,容易导致很多安全问题的发生。
2.合理使用tab键让你linux操作更加顺手。
为了统一,大家点击虚拟机的编辑,选择虚拟网络编辑器。如下配置:
打开终端,第一步是修改hosts文件,输入:sudo vim /etc/hosts,加上以下三行:
192.168.217.130 master
192.168.217.201 slave1
192.168.217.202 slave2
然后要修改ip地址,根据上面所填写的三个内容,ip地址的设置也是不一样的。这里,要注意,Ubantu不要在终端下修改ip地址,不然后果很严重,不吹不黑,大家就用他自带图形界面来修改就好,方便又直观。
根据不同的主机,address不同,其他的一样。
然后要建立一个hadoop账户,输入如下指令:
sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop(前一个hadoop为组名,后面才是用户名,用户名可以自己取,我方便起见写了hadoop,不过我自己的虚拟机不是这样,所以看截图的时候不要太过于纠结。后面会让你输入一个密码,是你登录这个用户时的密码,键入之后,出现任何提示都直接回车表示默认)
sudo gedit /etc/sudoers(不要使用vim,因为那样子打开文件是只读的,除非你进入root,修改后,再把权限改为只读,一定要改回只读。但是这个好麻烦,没有gedit直接根据提示apt-get即可,)
在root ALL=(ALL:ALL) ALL下面,加上hadoop ALL=(ALL:ALL) ALL
添加这句话是为了让hadoop用户也能使用sudo。
输入su hadoop即可登入该用户
注:三个虚拟机都需要进行上面的操作。(可以先做一份,然后克隆两份,再进行修改,记得登录hadoop用户,接下来的配置都在这个用户下进行配置)
接下来,需要进行ssh无密码互连的操作。
输入sudo apt-get install ssh来获取ssh。
输入ls -a /home/u(u为你的当前用户,即hadoop)
里面应该可以看到一个.ssh的隐藏文件夹,如果没有可以手动创建,接下来输入命令:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa(这里就不详细解释每个参数的作用了,~代表当前用户文件夹,此处是/home/hadoop)
这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub,相当于现实中的锁和钥匙,把后者追加到授权的key中去,输入:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys.
这样就可以实现无密码ssh自登陆,可以试试命令:ssh localhost
exit退出登录
为了实现master与slave之间互相都能免密码ssh登录,这里需要把id_dsa.pub发送到每一个主机的authorized_keys中,先把id_dsa.pub文件通过scp命令传输过去。
这里推荐大家进入slave1和slave2,把他们的id_dsa.pub发送到master上,然后再添加到master的authorized_keys中,再把master中的authorized_keys传到slave1和slave2中即可。
scp ~/.ssh/id_dsa.pub u@master:~/.ssh/id_dsa.pub.slave1(u处填你master的用户,即hadoop,slave1用来区别不同主机的公钥)。
然后,输入,cat ~/.ssh/id_dsa.pub.slave1 >> ~/.ssh/authorized_keys
当slave1和slave2的公钥都传入后,再键入:
scp ~/.ssh/authorized_keys slave1:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys slave2:~/.ssh/authorized_keys
此时,若在master输入ssh slave1 可以连接到slave1,那就算配置完成了。
接下来,下载hadoop。输入
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
文件会下载在当前目录,为了方便配置,换到另一个位置
mv hadoop-1.2.1.tar.gz /opt
cd /opt
tar -zxvf hadoop-1.2.1.tar.gz
解压完成后,会生成一个hadoop-1.2.1的文件夹。
我们进入,该文件夹。
cd hadoop-1.2.1
ls
我们要进入其中的conf文件夹进行配置。
我们需要配置如下参数,其余的保持默认即可。
其中每个文件的配置请大家登录我的个人主页进行下载:
http://114.215.84.38/doc/Hadoopconf.rar
然后,我们还需要配置一下JDK,前面一直忘记说了。汗,不过JDK的配置过程十分简单,先去Oracle官网获取JDK1.6以上的版本。下载下来后解压,解压命令上面写过,记住解压的位置。
然后,配置profile。输入:vim /etc/profile
箭头位置分别填入你jdk解压后的文件夹路径和Hadoop的文件夹路径。
保存后,输入
source /etc/profile
使profile立刻生效。
接下来,输入hadoop回车,应该可以看见相应的指令提示。
我们要注意,hadoop的运行脚本是放在hadoop的bin文件夹下的,我们进入那个文件夹
其中的start-all.sh和stop-all.sh是最重要的两个脚本,是用来启动和关闭我们的hadoop的,这个操作请在master上运行,否则后果很严重。
运行这个指令之前,要先初始化namenode
hadoop namenode -format
然后就可以准备运行了,在这之前,让我们输入一下jps来查看有什么java进程正在运行。
三台机器应该都是只有jps一个进程,现在让我们在master上输入
start-all.sh
然后再输入jps
master的结果应该是:
NameNode
SecondaryNameNode
JobTracker
jps
两个slave的结果应该是:
DataNode
TaskTracker
jps
这样就算安装完成了,可以试试
hadoop fs -ls来查看集群上的文件。
也可以打开浏览器,输入master:50030和master:50070来查看状态
PS:
为什么最后面的内容没有截图呢!因为我操作的时候,不小心ssh了slave1,然后在这个状况下格式化了namenode并启动了,直接就崩了好吧!!遇到这种情况怎么办,其实是有办法的。
把这四个文件夹全部删除,然后再重新创建就好了。唉,不说了,面壁了。
转自:http://www.cnblogs.com/qjkobe/p/5330159.html
Hadoop完全分布式集群安装的更多相关文章
- hadoop学习之hadoop完全分布式集群安装
注:本文的主要目的是为了记录自己的学习过程,也方便与大家做交流.转载请注明来自: http://blog.csdn.net/ab198604/article/details/8250461 要想深入的 ...
- Hadoop学习---CentOS中hadoop伪分布式集群安装
注意:此次搭建是在ssh无密码配置.jdk环境已经配置好的情况下进行的 可以参考: Hadoop完全分布式安装教程 CentOS环境下搭建hadoop伪分布式集群 1.更改主机名 执行命令:vi / ...
- 大数据学习之hadoop伪分布式集群安装(一)公众号undefined110
hadoop的基本概念: Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. Hadoo ...
- Hadoop之——分布式集群安装过程简化版
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46352315 1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是 ...
- 吴超老师课程---Hadoop的分布式集群安装
1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode.JobTracker.SecondaryNameNode 从节点(2个,是 ...
- hadoop学习通过虚拟机安装hadoop完全分布式集群
要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个had ...
- Hadoop伪分布式集群环境搭建
本教程讲述在单机环境下搭建Hadoop伪分布式集群环境,帮助初学者方便学习Hadoop相关知识. 首先安装Hadoop之前需要准备安装环境. 安装Centos6.5(64位).(操作系统再次不做过多描 ...
- (转)ZooKeeper伪分布式集群安装及使用
转自:http://blog.fens.me/hadoop-zookeeper-intro/ 前言 ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品.在单机中,系统协作大都是进程级的 ...
- Hadoop(三)手把手教你搭建Hadoop全分布式集群
前言 上一篇介绍了伪分布式集群的搭建,其实在我们的生产环境中我们肯定不是使用只有一台服务器的伪分布式集群当中的.接下来我将给大家分享一下全分布式集群的搭建! 其实搭建最基本的全分布式集群和伪分布式集群 ...
随机推荐
- NIO设置SO_LINGER引发的异常
欢迎关注Github:https://github.com/teaey/ ### 背景 银时跟我讲,想从 Netty3迁移到Netty4 . 问其原因是由于 Netty3在容器里会报错,错误堆栈: j ...
- [RxJS] Filtering operators: takeUntil, takeWhile
take(), takeLast(), first(), last(), those opreators all take number or no param. takeUtil and takeW ...
- LINUX 内核调试基础+编程基础
http://blog.chinaunix.net/uid-20564848-id-73208.html 内核文档:[root@localhost Documentation]# pwd /usr/s ...
- Linux yum命令重装mysql
如果是 rpm 安装的话,可以用 rpm -e mysql-server 如果是yum安装的,可以用 yum remove mysql* 删除MySQL安装文件夹 然后使用yum安装mysql: 1. ...
- 10.31 afternoon
巧克力棒(chocolate)Time Limit:1000ms Memory Limit:64MB题目描述LYK 找到了一根巧克力棒,但是这根巧克力棒太长了, LYK 无法一口吞进去.具体地,这根巧 ...
- 用于显示上个月和下个月_PHP
/** * 用于显示上个月和下个月 * @param int $sign 1:表示上个月 0:表示下个月 * @return string */ function GetMonth($sign=&qu ...
- CentOS 7重装mysql编译过程报错解决方法
错误记录: [ 82%] Building C object libmysql/CMakeFiles/clientlib.dir/__/sql-common/client.c.o/usr/local/ ...
- iOS7初体验(2)——单元测试
在Xcode 4.6及以前的版本,一直觉得单元测试这部分功能做得很鸡肋,用起来感觉很别扭.这一次Xcode 5.0默认就引入了单元测试,赶快来看看看相比以前的版本有什么提升吧!~_~ 1. 首 ...
- 段落排版--行间距, 行高(line-height)
<!DOCTYPE HTML> <html> <head> <meta http-equiv="Content-Type" content ...
- NOIP2012 借教室 Splay初探
终于把区间操作的Splay搞明白了…… Splay的大致框架是这样的: [代码中的Zig-Zig和Zig-Zag操作其实是可以优化的,实际只需要3次passDown和3次update] templat ...