hadoop2.2.0安装需要注意的事情
今天在安装hadoop2.2.0时遇到若干问题,解决这些问题有些心得,记录下来以备不时之需。
问题1、master和slave之间不能相互ssh免密码登陆。
问题表象此处略过,直接说解决办法:
1、查看.ssh 目录权限是否正确。700、600 经测试都没有问题。
2、查看.ssh 目录里面文件权限是否正确。最好600.因为ssh服务需要保证此部分文件不能有篡改的风险。
3、删除id_rsa.pub文件,因为ssh登陆到对端时,对端若存在id_rsa.pub文件,则优先使用这个文件进行公钥验证,而不会使用authorized_keys文件里面保存的公钥。
4、确保/etc/hosts文件里面主机名和IP地址设置正确
5、最好把master的authorized_keys文件scp到其他salve节点中。不要文本黏贴复制,容易出错并且不好检查原因。
以上就是今天遇到的ssh不能登录的原因。
问题2、启动namenode时报错,日志显示端口已被绑定。
1、重点检查core-site.xml 、 hdfs-site.xml 、hdfs-site.xml 和yarn-site.xml 四个文件里面是否有端口服用的情况。
2、使用netstat -anl|grep 端口号 检查是否有其他进程占用此端口
问题3、执行job任务时,job状态为pending状态,不执行。
出现job挂起的情况,则表明hadoop集群未成功启动,至少有一些模块没有正常启动。首先检查master和slave各节点服务是否正常。
master正常情况存在:NameNode、SecondaryNameNode、ResourceManager
slave正常情况存在:DataNode、NodeManager
如果节点服务不正常,则在$HADOOP_HOME/logs里面检查日志中是否有报错。
问题4、slave节点启动nodeManager显示连接master节点RM报错。
首先在master检测端口是否启动。如果没有启动,则在logs目录里面检查是否有报错日志。
如果master里面端口启动了,那么在slave节点中telnet masterIP Port,看是否可以连通。(此步骤用来确定master绑定的IP和Port是否正确。)
如果telnet不同,那么检查一下master的/etc/hosts里面的127.0.0.1是否也指定为主机名了,因为操作系统会首先使用第一个主机名所对应的IP地址。(如果正式环境中各节点IP和主机名不会频繁变化,那么还是在配置文件中直接指定IP地址吧)
今天遇到的问题就是上述三个原因,也可能还有其他原因引起此种情况,但没有遇到。
问题5、job在run时,报JAVA异常,UnknownHostException:XXX 。
需要看一下这个错误是哪台节点报出来的。今天遇到的都是master报出来的。开始以为是master连接不上对应节点,导致排查方向出错。后来才搞清楚,slave节点报错也会显示在master。因此master报错不一定表示是master节点的问题,也有可能是某一台slave节点的问题。
问题原因是slave1的/etc/hosts没有配置slave2的主机名,导致两台slave再通讯时异常,配置/etc/hosts后恢复正常。
hadoop2.2.0安装需要注意的事情的更多相关文章
- Hadoop2.6.0安装 — 集群
文 / vincentzh 原文连接:http://www.cnblogs.com/vincentzh/p/6034187.html 这里写点 Hadoop2.6.0集群的安装和简单配置,一方面是为自 ...
- Hadoop-2.4.0安装和wordcount执行验证
Hadoop-2.4.0安装和wordcount执行验证 下面描写叙述了64位centos6.5机器下,安装32位hadoop-2.4.0,并通过执行 系统自带的WordCount样例来验证服务正确性 ...
- Hadoop2.2.0安装过程记录
1 安装环境1.1 客户端1.2 服务端1.3 安装准备 2 操作系统安装2.1.1 BIOS打开虚拟化支持2.1.2 关闭防火墙2.1.3 安装 ...
- Hadoop2.6.0安装—单机/伪分布
目录 环境准备 创建hadoop用户 更新apt 配置SSH免密登陆 安装配置Java环境 安装Hadoop Hadoop单机/伪分布配置 单机Hadoop 伪分布Hadoop 启动Hadoop 停止 ...
- Hadoop2.2.0 安装笔记
在Youtube上找到靠谱的教程:http://www.youtube.com/watch?v=WN2tJk_oL6E 同时把作者的教程下载下来放在百度云盘上了:http://pan.baidu.co ...
- HADOOP2.2.0安装配置指南
一. 集群环境搭建 这里我们搭建一个由三台机器组成的集群: Ip地址 用户名/密码 主机名 集群中角色 操作系统版本 192.168.0.1 hadoop/hadoop Hadoop-mast ...
- Hadoop-2.6.0安装文档
前段时间在dataguru上报了一个hadoop的培训班,希望能够帮助自己更快的了解.掌握并且熟悉hadoop的开发和原理. 上一期的作业是要自己搭建一个hadoop的环境,并能运行mapreduce ...
- 完全分布式hadoop2.5.0安装 VMware下虚拟机centos6.4安装1主两从hadoop
请跟我走,从零开始搭建hadoop2.5.0环境.总览第一步:搭建三台能不用密码shh的虚拟机.第二步,装jdk,解压hadoop文件,配置环境变量和xml文件.第三步,复制克隆两个slave机器.调 ...
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
http://blog.csdn.net/licongcong_0224/article/details/12972889 历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为 ...
随机推荐
- 在项目中引用android.support.v7
在Android开发中,新建的项目可能因为缺少对sopport工程的引用而报错,可以这样解决. 1.项目右键 --> import --> Android --> Existing ...
- iOS学习笔记之蓝牙(有关蓝牙设备mac地址处理)
原文: http://blog.sina.com.cn/s/blog_6f2f0bed0102xn0e.html
- gitlab创建项目代码:
cd (当前工程文件夹目录) git init //初始化git git remote add origin http://worker.njbandou.com/KLElevator/kle ...
- Vue-cli + Express 构建的SPA Blog(前后分离)
代码地址如下:http://www.demodashi.com/demo/12526.html 为什么学习并使用Vue 1.发展趋势 最近这几年的前端圈子,由于戏台一般精彩纷呈,从 MVC 到 MVV ...
- webserver【实时查询当天的天气情况】
1.webserver是什么? 日常生活中经常会使用到webserver,注册时,会收到验证码,购买东西时,会收到短信,假如,A公司网站和B公司合作,那么A公司注册对的用户可以直接推送给B网站,那怎么 ...
- 使用新版MonoDevelop来进行unity工程调试
现在可以使用新版的MonoDeveloper来调试Unity工程了,新版的MonoDeveloper界面上漂亮很多,而且使用.调试上感觉也更舒服了.先上一张图: 安装方法如下: 登陆网址:http ...
- [转载]Axis2 and CXF的比较
在Celtix 和XFire 宣布合并的同年,另一个著名开源Web 服务框架Axis 的后继者Axis2 也诞生了.Axis2 并非Axis 的2.0 版,而是完全重写了Axis 的新项目.作为功能和 ...
- traceroute 命令
通过traceroute我们可以知道信息从你的计算机到互联网另一端的主机是走的什么路径.当然每次数据包由某一同样的出发点(source)到达某一同样的目的地(destination)走的路径可能会不一 ...
- Spigot 算法之中的一个 计算调和级数的和
我是首先在[1] 注意到 Spigot-Algorithm的,这个算法公布的相当早.见[2]. [1] 给出几个令人惊异的程序.仅仅用非常少的代码就能够计算e,pi,log(2)等常数. 当中 ...
- u-boot-2014_04在TQ2440上的移植
本文详细介绍了新版本的u-boot-2014_04在tq2440平台上的移植过程,期间参考了网上的其他移植文档,还有韦东山的移植uboot视频,讲的很好.下面是共享链接,欢迎下载,一同学习.其中有移植 ...