一、Hadoop搭建准备(centOs6.5  且每个系统都要有同一个用户,如:hadoop)

    1、IP的配置

包括Master和Slaves的IP配置,之间能够相互ping通;

 例如:

        192.168.1.2   Master

        192.168.1.3   Slave-1

        192.168.1.4   Slave-2

        192.168.1.5   Slave-3

其中每台机子配置IP的过程如下:

vi   /etc/sysconfig/network                                  //配置hostName

vi   /etc/sysconfig/network-script/ifcfg-eth0       //配置ip

 vi    /etc/hosts                   //配置hosts(所有集群的IP地址和对应的主机名称)

配置完成后,重启network    命令:service
network restart

测试是否能够ping通过

2、配置SSH

 1)首先,查看是否已经安装SSH

rmp -qa | grepopenssh

           rmp -qa |grep rsync

 2)若没有查询到结果,请按以下方式安装

yum -y installopenssh

            yum -y install rsync

3)重新启动服务:service
sshd restart 

        4)然后,配置Master无密码登录其它Slaves(以hadoop用户登录)

)ssh-keygen
–t rsa –P ''    //生成密钥对

         

)cat
~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

)chmod
600 authorized_keys

           

)用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。

RSAAuthentication yes #启用
RSA认证

               PubkeyAuthentication yes #启用公钥私钥配对认证方式

               AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)

)设置完之后记得重启SSH服务,才能使刚才设置有效。

servicesshd restart

)使用下面的命令格式进行复制公钥: 
 

scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/

cat ~/id_rsa.pub >>~/.ssh/authorized_keys

                chmod 600~/.ssh/authorized_keys



)用root用户修改"/etc/ssh/sshd_config"

 3、配置Java环境(其它机子雷同)

)下载适合系统版本的Java

)解压到/usr/java 

) vim /etc/profile加入:

 #set java environment

               export JAVA_HOME=/usr/java/jdk1.6.0_31

               export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

               export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

  (4) 测试环境:java -version

二、Hadoop的安装

    1、下载对应版本的Hadoop(安装到的目录/usr/hadoop)

    2、hadoop目录设置权限(用户组和用户都是hadoop)

    

            chown -R hadoop:hadoop  hadoop

    3、设置hadoop 启动环境

          vim /etc/profile

              

               #set hadoop path

             export HADOOP_HOME=/usr/hadoop

             export PATH=$PATH :$HADOOP_HOME/bin

       

        source/etc/profile

    4、配置Hadoop

       (1)vim  /usr/hadoop/conf/hadoop-env.sh

               # set java environment

              exportJAVA_HOME=/usr/java/jdk1.6.0_31

       (2)vim  /usr/hadoop/conf/core-site.xml

                <property>

                      <name>fs.default.name</name>

</value>

             </property>

       (3)vim  /usr/hadoop/conf/hdfs-site.xml

               <property>

                   <name>dfs.replication</name>

</value>

台就会报错)

            </property>

       (4)vim /usr/hadoop/conf/mapred-site.xml

               <property>

                   <name>mapred.job.tracker</name>

</value>

            </property>

       (5)vim  /usr/hadoop/conf/master

               192.168.1.2(本机IP地址,是指当本机down机时,进行冷启动的备份机)

       (6)vim  /usr/hadoop/conf/slaves

                192.168.1.3

192.168.1.4

192.168.1.5

    5、配置到其它Slaves机子

)scp拷贝 

              scp -r /usr/hadoop root@目标Ip:~/usr/

)改变权限

              chown -R hadoop:hadoophadoop

)设置Hadoop运行环境

              vim /etc/profile(见二-3)

三、启动Hadoop集群(使用hadoop用户)

    1、格式化HDFS文件系统

       hadoop namenode -format

    2、启动hadoop

        start-all.sh

        ls /usr/hadoop/logs/       查看日志

、验证hadoop

) jps

        

) hadoop
dfsadmin -report

四、其它问题

    

    1、日志Error:getting localhost name
using 'localhost'

    

       查看是否配置好 /etc/hosts要和Master的配置一样



、日志Error:java.net.NoRouteToHostException:No
route

       查看防火墙是否关闭:service iptables status

       关闭防火墙:service iptables stop

       永远关闭:chkconfig --level 0123456 iptables off

Hadoop集群的安装与配置(centos 6.5)的更多相关文章

  1. 零基础配置Hadoop集群——Ambari安装及配置详解

    1. 准备工作 1.1. 系统环境 主机列表: IP地址 HostName 描述 192.168.610.153 ambari.server Ambari服务器 192.168.10.152  had ...

  2. Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...

  3. Hadoop集群搭建安装过程(二)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一 ...

  4. Ganglia监控Hadoop集群的安装部署[转]

    Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52 ...

  5. 沉淀,再出发——在Hadoop集群之上安装hbase

    在Hadoop集群之上安装hbase 一.安装准备 首先我们确保在ubuntu16.04上安装了以下的产品,java1.8及其以上,ssh,hadoop集群,其次,我们需要从hbase的官网上下载并安 ...

  6. Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装

    Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...

  7. Dubbo入门到精通学习笔记(十五):Redis集群的安装(Redis3+CentOS)、Redis集群的高可用测试(含Jedis客户端的使用)、Redis集群的扩展测试

    文章目录 Redis集群的安装(Redis3+CentOS) 参考文档 Redis 集群介绍.特性.规范等(可看提供的参考文档+视频解说) Redis 集群的安装(Redis3.0.3 + CentO ...

  8. Dubbo入门到精通学习笔记(十四):ActiveMQ集群的安装、配置、高可用测试,ActiveMQ高可用+负载均衡集群的安装、配置、高可用测试

    文章目录 ActiveMQ 高可用集群安装.配置.高可用测试( ZooKeeper + LevelDB) ActiveMQ高可用+负载均衡集群的安装.配置.高可用测试 准备 正式开始 ActiveMQ ...

  9. ZooKeeper 集群的安装、配置---Dubbo 注册中心

    ZooKeeper 集群的安装.配置.高可用测试 Dubbo 注册中心集群 Zookeeper-3.4.6 Dubbo 建议使用 Zookeeper 作为服务的注册中心. Zookeeper 集群中只 ...

随机推荐

  1. 在 Windows Media Center 中观看电视

    如果计算机具备了必要的硬件,则可以在电脑上使用 Windows Media Center 观看.暂停和快退直播的电视节目及录制的电视节目. 通过 Windows Media Center 观看直播电视 ...

  2. C++标准程序库的输入输出流(I/O Stream)复制文件(4种方法)

    使用C++标准程序库的输入输出流(I/O   Stream)复制文件,存在许多的方法, 方法一:逐个字符复制#include   <   fstream   > std::ifstream ...

  3. ThinkPHP 3.1.2 模板中的变量

    一.变量输出 (重点) 1.标量输出 2.数组输出 {$name[1]} {$name['k2']} {$name.k1} 3.对象输出 {$name:k} {$name->k} 二.系统变量 ...

  4. [BZOJ2324][ZJOI2011][最小费用最大流]营救皮卡丘

    [Problem Description] 皮卡丘被火箭队用邪恶的计谋抢走了!这三个坏家伙还给小智留下了赤果果的挑衅!为了皮卡丘,也为了正义,小智和他的朋友们义不容辞的踏上了营救皮卡丘的道路. 火箭队 ...

  5. SQL Server:错误处理及事务控制

    目录: 解读错误信息 RAISERROR THROW 实例 使用 @@ERROR 使用 XACT_ABORT 使用TRY/CATCH 现实中的事务语句 删除 更新 银行取钱 解读错误信息 Msg 54 ...

  6. 解决gnuplot中'Terminal type set to 'unknown'不能显示绘图的问题

    安装gnuplot: sudo apt-get install gnuplot 安装成功后,在终端输入gnuplot,进入gnuplot. 直接进行一个小测试: plot sin(x) 发现不能显示绘 ...

  7. BZOJ 1194: [HNOI2006]潘多拉的盒子( BFS + tarjan + dp )

    O(S²)枚举2个诅咒机, 然后O(n²)BFS去判断. 构成一个有向图, tarjan缩点, 然后就是求DAG的最长路.. ------------------------------------- ...

  8. Python学习之day4

    参考文献:http://www.cnblogs.com/alex3714/articles/5143440.html 迭代器: 迭代器是访问集合元素的一种方式.迭代器对象从集合的第一个元素开始访问,直 ...

  9. ASP.NET 定时通知

    ASP.NET 定时通知 using System; using System.Collections.Generic; using System.Linq; using System.Web; us ...

  10. shell实例浅谈之六文件特定行打印的多种方法

    一.问题 Sed和AWK在处理文件方面有很强的优势,还有head和tail等文件处理工具的使用,grep也可实现文本的搜索.上述命令都可以在后面直接加文件名,不需要在前面使用cat添加管道,cat会影 ...