Hadoop集群的安装与配置(centos 6.5)
一、Hadoop搭建准备(centOs6.5 且每个系统都要有同一个用户,如:hadoop)
1、IP的配置
包括Master和Slaves的IP配置,之间能够相互ping通;
例如:
192.168.1.2 Master
192.168.1.3 Slave-1
192.168.1.4 Slave-2
192.168.1.5 Slave-3
其中每台机子配置IP的过程如下:
vi /etc/sysconfig/network //配置hostName
vi /etc/sysconfig/network-script/ifcfg-eth0 //配置ip
vi /etc/hosts //配置hosts(所有集群的IP地址和对应的主机名称)
配置完成后,重启network 命令:service
network restart
测试是否能够ping通过
2、配置SSH
1)首先,查看是否已经安装SSH
rmp -qa | grepopenssh
rmp -qa |grep rsync
2)若没有查询到结果,请按以下方式安装
yum -y installopenssh
yum -y install rsync
3)重新启动服务:service
sshd restart
4)然后,配置Master无密码登录其它Slaves(以hadoop用户登录)
)ssh-keygen
–t rsa –P '' //生成密钥对
)cat
~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
)chmod
600 authorized_keys
)用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。
RSAAuthentication yes #启用
RSA认证
PubkeyAuthentication yes #启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)
)设置完之后记得重启SSH服务,才能使刚才设置有效。
servicesshd restart
)使用下面的命令格式进行复制公钥:
scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/
cat ~/id_rsa.pub >>~/.ssh/authorized_keys
chmod 600~/.ssh/authorized_keys
)用root用户修改"/etc/ssh/sshd_config"
3、配置Java环境(其它机子雷同)
)下载适合系统版本的Java
)解压到/usr/java
) vim /etc/profile加入:
#set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
(4) 测试环境:java -version
二、Hadoop的安装
1、下载对应版本的Hadoop(安装到的目录/usr/hadoop)
2、hadoop目录设置权限(用户组和用户都是hadoop)
chown -R hadoop:hadoop hadoop
3、设置hadoop 启动环境
vim /etc/profile
#set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH :$HADOOP_HOME/bin
source/etc/profile
4、配置Hadoop
(1)vim /usr/hadoop/conf/hadoop-env.sh
# set java environment
exportJAVA_HOME=/usr/java/jdk1.6.0_31
(2)vim /usr/hadoop/conf/core-site.xml
<property>
<name>fs.default.name</name>
</value>
</property>
(3)vim /usr/hadoop/conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
</value>
台就会报错)
</property>
(4)vim /usr/hadoop/conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
</value>
</property>
(5)vim /usr/hadoop/conf/master
192.168.1.2(本机IP地址,是指当本机down机时,进行冷启动的备份机)
(6)vim /usr/hadoop/conf/slaves
192.168.1.3
192.168.1.4
192.168.1.5
5、配置到其它Slaves机子
)scp拷贝
scp -r /usr/hadoop root@目标Ip:~/usr/
)改变权限
chown -R hadoop:hadoophadoop
)设置Hadoop运行环境
vim /etc/profile(见二-3)
三、启动Hadoop集群(使用hadoop用户)
1、格式化HDFS文件系统
hadoop namenode -format
2、启动hadoop
start-all.sh
ls /usr/hadoop/logs/ 查看日志
、验证hadoop
) jps
) hadoop
dfsadmin -report
四、其它问题
1、日志Error:getting localhost name
using 'localhost'
查看是否配置好 /etc/hosts要和Master的配置一样
、日志Error:java.net.NoRouteToHostException:No
route
查看防火墙是否关闭:service iptables status
关闭防火墙:service iptables stop
永远关闭:chkconfig --level 0123456 iptables off
Hadoop集群的安装与配置(centos 6.5)的更多相关文章
- 零基础配置Hadoop集群——Ambari安装及配置详解
1. 准备工作 1.1. 系统环境 主机列表: IP地址 HostName 描述 192.168.610.153 ambari.server Ambari服务器 192.168.10.152 had ...
- Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)
Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...
- Hadoop集群搭建安装过程(二)(图文详解---尽情点击!!!)
Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一 ...
- Ganglia监控Hadoop集群的安装部署[转]
Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52 ...
- 沉淀,再出发——在Hadoop集群之上安装hbase
在Hadoop集群之上安装hbase 一.安装准备 首先我们确保在ubuntu16.04上安装了以下的产品,java1.8及其以上,ssh,hadoop集群,其次,我们需要从hbase的官网上下载并安 ...
- Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装
Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...
- Dubbo入门到精通学习笔记(十五):Redis集群的安装(Redis3+CentOS)、Redis集群的高可用测试(含Jedis客户端的使用)、Redis集群的扩展测试
文章目录 Redis集群的安装(Redis3+CentOS) 参考文档 Redis 集群介绍.特性.规范等(可看提供的参考文档+视频解说) Redis 集群的安装(Redis3.0.3 + CentO ...
- Dubbo入门到精通学习笔记(十四):ActiveMQ集群的安装、配置、高可用测试,ActiveMQ高可用+负载均衡集群的安装、配置、高可用测试
文章目录 ActiveMQ 高可用集群安装.配置.高可用测试( ZooKeeper + LevelDB) ActiveMQ高可用+负载均衡集群的安装.配置.高可用测试 准备 正式开始 ActiveMQ ...
- ZooKeeper 集群的安装、配置---Dubbo 注册中心
ZooKeeper 集群的安装.配置.高可用测试 Dubbo 注册中心集群 Zookeeper-3.4.6 Dubbo 建议使用 Zookeeper 作为服务的注册中心. Zookeeper 集群中只 ...
随机推荐
- 在 Windows Media Center 中观看电视
如果计算机具备了必要的硬件,则可以在电脑上使用 Windows Media Center 观看.暂停和快退直播的电视节目及录制的电视节目. 通过 Windows Media Center 观看直播电视 ...
- C++标准程序库的输入输出流(I/O Stream)复制文件(4种方法)
使用C++标准程序库的输入输出流(I/O Stream)复制文件,存在许多的方法, 方法一:逐个字符复制#include < fstream > std::ifstream ...
- ThinkPHP 3.1.2 模板中的变量
一.变量输出 (重点) 1.标量输出 2.数组输出 {$name[1]} {$name['k2']} {$name.k1} 3.对象输出 {$name:k} {$name->k} 二.系统变量 ...
- [BZOJ2324][ZJOI2011][最小费用最大流]营救皮卡丘
[Problem Description] 皮卡丘被火箭队用邪恶的计谋抢走了!这三个坏家伙还给小智留下了赤果果的挑衅!为了皮卡丘,也为了正义,小智和他的朋友们义不容辞的踏上了营救皮卡丘的道路. 火箭队 ...
- SQL Server:错误处理及事务控制
目录: 解读错误信息 RAISERROR THROW 实例 使用 @@ERROR 使用 XACT_ABORT 使用TRY/CATCH 现实中的事务语句 删除 更新 银行取钱 解读错误信息 Msg 54 ...
- 解决gnuplot中'Terminal type set to 'unknown'不能显示绘图的问题
安装gnuplot: sudo apt-get install gnuplot 安装成功后,在终端输入gnuplot,进入gnuplot. 直接进行一个小测试: plot sin(x) 发现不能显示绘 ...
- BZOJ 1194: [HNOI2006]潘多拉的盒子( BFS + tarjan + dp )
O(S²)枚举2个诅咒机, 然后O(n²)BFS去判断. 构成一个有向图, tarjan缩点, 然后就是求DAG的最长路.. ------------------------------------- ...
- Python学习之day4
参考文献:http://www.cnblogs.com/alex3714/articles/5143440.html 迭代器: 迭代器是访问集合元素的一种方式.迭代器对象从集合的第一个元素开始访问,直 ...
- ASP.NET 定时通知
ASP.NET 定时通知 using System; using System.Collections.Generic; using System.Linq; using System.Web; us ...
- shell实例浅谈之六文件特定行打印的多种方法
一.问题 Sed和AWK在处理文件方面有很强的优势,还有head和tail等文件处理工具的使用,grep也可实现文本的搜索.上述命令都可以在后面直接加文件名,不需要在前面使用cat添加管道,cat会影 ...