安装配置jdk,SSH

一.首先,先搭建三台小集群,虚拟机的话,创建三个

下面为这三台机器分别分配IP地址及相应的角色:集群有个特点,三台机子用户名最好一致,要不你就创建一个组,把这些用户放到组里面去,我这三台的用户名都是hadoop,主机名随意起

192.168.0.20-----master(主机),nameNode,jobtracker----master(主机名)

192.168.0.21-----slave1(从机),dataNode,tasktracker-----slave1(主机名)

192.168.0.22-----slave2(从机),dataNode,tasktracker-----slave2(主机名)

如果用户名不一致,你就要创建一个用户组,把用户放到用户组下面:

sudo addgroup hadoop     创建hadoop用户组

sudo adduser -ingroup hadoop one  创建一个one用户,归到hadoop组下

二.由于用户是普通用户,没有root一些权限,所以修改hadoop用户权限

用root权限,修改sudoers文件

nano    /etc/sudoers   打开文件,修改hadoop用户权限,如果你创建的是one用户,就one ALL=(ALL:ALL) ALL

三.在这三台机子上分别设置/etc/hosts及/etc/hostname

hosts这个文件用于定于主机名与IP地址之间的对用关系

sudo -i  获取最高权限

nano /etc/hosts:

ctrl+o:保存,然后回车,ctrl+x:退出

hostname 这个文件用于定义主机名的,

注意:主机是主机名,从机就是从机名,例如:slave1在这里就是slave1

然后你可以输入:ping slave1,看能不能ping通

重启IP地址:/etc/init.d/networking restart

四.要在这三台机子上均安装jdk,ssh,并配置好环境变量,三台机子都是这个操作::

做好准备工作,下载jdk-7u3-linux-i586.tar 这个软件包

1.sudo apt-get install openssh-server    下载SSH

ssh     查看,代表安装成功

2.  tar zxvf jdk-7u3-linux-i586.tar.gz 解压jdk

3.sudo nano /etc/profile,在最下面加入这几句话,保存,这是配置java环境变量

4.source  /etc/profile  使其配置生效

验证jdk是否安装成功,敲命令

5.java -version     可以看到JDK版本信息,代表安装成功

6:配置SSH  免密码登陆,记住,这是在hadoop用户下执行的

ssh-keygen   -t     rsa       之后一路回 车(产生秘钥,会自动产生一个.ssh文件

8.cd   .ssh  进入ssh文件

cp  id_rsa.pub   authorized_keys   把id_rsa.pub 追加到授权的 key 里面去

9. ssh localhost     此时已经可以进行ssh localhost的无密码登陆

或者 ls  .ssh/      看看有没有那几个文件

10.拷贝id_dsa.pub文件到其他机器

192.168.0.20  操作:

scp  .ssh/id_rsa.pub   192.168.0.21:/home/hadoop/.ssh/20.pub

scp  .ssh/id_rsa.pub   192.168.0.22:/home/hadoop/.ssh/20.pub

192.168.0.21  操作:

scp  .ssh/id_rsa.pub 192.168.0.20:/home/hadoop/.ssh/21.pub

scp  .ssh/id_rsa.pub 192.168.0.22:/home/hadoop/.ssh/21.pub

192.168.0.22  操作:

scp  .ssh/id_rsa.pub 192.168.0.20:/home/hadoop/.ssh/22.pub

scp  .ssh/id_rsa.pub 192.168.0.21:/home/hadoop/.ssh/22.pub

11.公钥都追加到 那个授权文件里

在192.168.0.20机子上操作:

cat  .ssh/21.pub >> .ssh/authorized_keys

cat  .ssh/22.pub >> .ssh/authorized_keys

在192.168.0.21机子上操作:

cat  .ssh/20.pub >> .ssh/authorized_keys

cat  .ssh/22.pub >> .ssh/authorized_keys

在192.168.0.22机子上操作:

cat  .ssh/20.pub >> .ssh/authorized_keys

cat  .ssh/21.pub >> .ssh/authorized_keys

验证ssh 192.168.0.21 hostname

会出现主机名:slave1

配置hadoop集群2.2.0版本

1.我把hadoop文件放在 /home/hadoop路径下,首先先进行解压

tar  zxvf  hadoop-2.2.0.tar.gz

2.hadoop配置过程,

配置之前,需要在hadoop本地文件系统创建以下文件夹:

/dfs/name

/dfs/data

/tmp

给这些文件要赋予权限

sudo chmod 777 tmp/

sudo chmod 777 dfs/

这里要涉及到的配置文件有7个:

~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

~/hadoop-2.2.0/etc/hadoop/yarn-env.sh

~/hadoop-2.2.0/etc/hadoop/slaves

~/hadoop-2.2.0/etc/hadoop/core-site.xml

~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop-2.2.0/etc/hadoop/mapred-site.xml

~/hadoop-2.2.0/etc/hadoop/yarn-site.xml

以上个别文件默认不存在的,可以复制相应的template文件获得。

例如mapred-site.xml不存在

cd /home/hadoop/hadoop-2.2.0/etc/hadoop    进入到hadoop配置文件的目录中

cp  mapred-site.xml.template   mapred-site.xml    复制相应的模板文件

3.配置hadoop-env.sh

sudo nano  /home/hadoop/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk1.7.0_03   配置jdk

4.配置yarn-env.sh

sudo nano  /home/hadoop/hadoop-2.2.0/etc/hadoop/yarn-env.sh

export JAVA_HOME=/home/hadoop/jdk1.7.0_03   配置jdk

5.配置slaves,写入一下内容

slave1

slave2

6.配置core-site.xml

<configuration>
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
  </property>
  <property>
     <name>io.file.buffer.size</name>
     <value>131072</value>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>file:/home/hadoop/tmp</value>
  </property>
  <property>
     <name>hadoop.proxyuser.hadoop.hosts</name>
     <value>*</value>
  </property>
  <property>
     <name>hadoop.proxyuser.hadoop.groups</name>
     <value>*</value>
  </property>
</configuration>

7.配置hdfs-site.xml

<configuration>
   <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>master:9001</value>
   </property>
   <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/home/hadoop/dfs/name</value>
   </property>
   <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/home/hadoop/dfs/data</value>
   </property>
   <property>
      <name>dfs.replication</name>
      <value>2</value>
   </property>
   <property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
   </property>
</configuration>

8.配置mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>
</configuration>

9.配置yarn-site.xml

<configuration>
   <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
   <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
   <property>
     <name>yarn.resourcemanager.address</name>
     <value>master:8032</value>
   </property>
   <property>
     <name>yarn.resourcemanager.scheduler.address</name>
     <value>master:8030</value>
   </property>
   <property>
     <name>yarn.resourcemanager.resource-tracker.address</name>
     <value>master:8031</value>
   </property>
   <property>
     <name>yarn.resourcemanager.admin.address</name>
     <value>master:8033</value>
   </property>
   <property>
     <name>yarn.resourcemanager.webapp.address</name>
     <value>master:8088</value>
   </property>
</configuration>

master配置完以后,可是直接把hadoop文件复制到从机,这样可以节省时间

命令是在hadoop用户下进行:这个只需要在主机运行就可以了

scp  -r   /home/hadoop/hadoop-1.1.2  hadoop@slave1:/home/hadoop/

scp  -r   /home/hadoop/hadoop-1.1.2  hadoop@slave2:/home/hadoop/

10.hadoop集群启动与测试:这个只需要在主机上运行就可以了

sudo -i  获取root权限

chown  -R hadoop:hadoop  /home/hadoop/hadoop-1.2.1      给hadoop用户赋予权限

命令在hadoop用户下进行:

su hadoop    切换hadoop用户

cd   /home/hadoop/hadoop-1.1.2

bin/hadoop  namenode  -format   格式化文件,格式化文件只能格式化一次

/sbin/start-dfs.sh      启动所有的节点

11.测试  http://192.168.0.20:50070

http://192.168.0.20:8088

搭建Zookeeper集群

1.下载zookeeper-3.4.5版本:zookeeper-3.4.5.tar.gz,我是放在/home/hadoop下面

tar  zxvf  zookeeper-3.4.5.tar.gz       直接进行解压

2.配置etc/profile

sudo nano  etc/profile      在末尾加入下面配置

export ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.5
export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH

3.配置zookeeper-3.4.5/conf/zoo.cfg文件,这个文件本身是没有的,有个zoo_sample.cfg模板

cd    zookeeper-3.4.5/conf      进入conf目录

cp  zoo_sample.cfg   zoo.cfg     拷贝模板

sudo nano  zoo.cfg       修改zoo.cfg文件,红色是修改部分

---------------------------------------------------------------------------------------------------

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/home/hadoop/zookeeper-3.4.5/data
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

------------------------------------------------------------------------------------------------------

注意:创建dataDir参数指定的目录,创建data文件夹,在这个文件夹下,还要创建一个文本myid

cd  /home/hadoop/zookeeper-3.4.5

mkdir  data     创建data

cd  /home/hadoop/zookeeper-3.4.5/data     进入data文件夹下

touch  myid   创建文本myid,在这个文本内写入1,因为server.1=master:2888:3888  server指定的是1,

如果一会在从机配置,slave1下面的myid是2,slave2下面myid是3,这些都是根据server来的

4.主机配置完以后,把zookeeper复制给从机

scp -r zookeeper-3.4.5  hadoop@slave1:/home/hadoop/

scp  -r zookeeper-3.4.5  hadoop@slave1:/home/hadoop/

记住修改从机的myid.从机也要配置etc/profile

5.启动zookeeper,先hadoop集群启动

zkServer.sh  start     这个启动是主机从机都要输入启动命令

bin/zkServer.sh  status在不同的机器上使用该命令,其中二台显示follower,一台显示leader

zkCli.sh  -server 192.168.0.21:2181  启动客户端脚本

quit   退出

help  可是查看帮助命令

这样zookeeper集群就配置完了

搭建hbase集群

1.下载并解压hbase-0.98.0-hadoop2-bin.tar.gz到/home/hadoop下面

tar zxvf  hbase-0.98.0-hadoop2-bin.tar.gz

2.修改 hbase-env.sh hbase-site.xmlregionservers 这三个配置文件如下:

2.1修改 hbase-env.sh

sudo  nano  /home/hadoop/ hbase-0.98.0-hadoop2 /conf/hbase-env.sh

export JAVA_HOME=/home/hadoop/jdk1.7.0_03

export HBASE_HOME=/home/hadoop/hbase-0.98.0-hadoop2

export HADOOP_HOME=/home/hadoop/hadoop-2.2.0

export PATH=$PATH:/home/hadoop/hbase-0.98.0-hadoop2/bin

export HBASE_MANAGES_ZK=false

注意:如果hbase想用自身的zookeeper, HBASE_MANAGES_ZK属性变为true.

2.2修改 hbase-site.xml

sudo  nano  /home/hadoop/ hbase-0.98.0-hadoop2/conf/hbase-site.xml

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://master:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>master,slave1,slave2</value>

</property>

<property>

<name>zookeeper.session.timeout</name>

<value>60000</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value>

</property>

</configuration>

注意:hbase.zookeeper.property.clientPort配置的这个端口号必须跟zookeeper配置的clientPort端口号一致。

2.3修改 regionservers

sudo  nano  /home/hadoop/ hbase-0.98.0-hadoop2/conf/regionservers

写入以下内容:

slave1

slave2

chown  -R hadoop:hadoop  /home/hadoop/ hbase-0.98.0-hadoop2  给hbase赋予权限

复制hbase到从机

scp  -r   /home/hadoop/hbase-0.98.0-hadoop2 hadoop@slave1:/home/hadoop/

scp  -r   /home/hadoop/ hbase-0.98.0-hadoop2 hadoop@slave2:/home/hadoop/

然后启动hbase,输入命令,记住:一定要先启动hadoop集群,才能启动hbase

bin/start-hbase.sh

我们也可以通过WEB页面来管理查看HBase数据库。

HMaster:http://192.168.0.20:60010/master.jsp

可以输入jps查看HMaster

然后输入如下命令进入hbase的命令行管理界面:quit  退出

bin/hbase shell

bin/stop-hbase.sh    关闭hbase

启动顺序:hadoop---zookeeper----hbase

 

第八章 搭建hadoop2.2.0集群,Zookeeper集群和hbase-0.98.0-hadoop2-bin.tar.gz集群的更多相关文章

  1. 搭建伪分布式 hadoop3.1.3 + zookeeper 3.5.7 + hbase 2.2.2

    安装包 Hadoop 3.1.3 Zookeeper 3.5.7 Hbase 2.2.2 所需工具链接: 链接:https://pan.baidu.com/s/1jcenv7SeGX1gjPT9RnB ...

  2. Redis集群研究和实践(基于redis 3.0.5)

    前言 redis 是我们目前大规模使用的缓存中间件,由于它强大高效而又便捷的功能,得到了广泛的使用.现在的2.x的稳定版本是2.8.19,也是我们项目中普遍用到的版本. redis在年初发布了3.0. ...

  3. dis集群研究和实践(基于redis 3.0.5) 《转载》

    https://www.cnblogs.com/wxd0108/p/5798498.html 前言 redis 是我们目前大规模使用的缓存中间件,由于它强大高效而又便捷的功能,得到了广泛的使用.现在的 ...

  4. 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper)

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  5. Apache Hadoop集群离线安装部署(三)——Hbase安装

    Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...

  6. HBase-0.98.0和Phoenix-4.0.0分布式安装指南

    目录 目录 1 1. 前言 1 2. 约定 2 3. 相关端口 2 4. 下载HBase 2 5. 安装步骤 2 5.1. 修改conf/regionservers 2 5.2. 修改conf/hba ...

  7. CentOS6.5下nginx-1.8.1.tar.gz的单节点搭建(图文详解)

    不多说,直接上干货! [hadoop@djt002 local]$ su root Password: [root@djt002 local]# ll total drwxr-xr-x. root r ...

  8. hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建(单节点)

    前言 本人呕心沥血所写,经过好一段时间反复锤炼和整理修改.感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接.http://www.cnblogs.com/zlslch/p/ ...

  9. hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz 的集群搭建(3节点和5节点皆适用)

    本人呕心沥血所写,经过好一段时间反复锤炼和整理修改.感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接.http://www.cnblogs.com/zlslch/p/584 ...

随机推荐

  1. yii2.0 使用不同语言

    1.建立语言目录.文件.项目根目录建立messages文件夹.存放不同语言对应的目录文件. 例如中文和英文 message 下建立两个文件夹 en.zh_CN 里面可以对应着多个翻译文件 2.在mai ...

  2. d3.js(v5.7)完整地画一个柱状图

    一.首先定义画布大小以及绘画区域的位置(总不能顶着屏幕边沿画吧) 代码: 图示: 二.横.纵向坐标轴 代码: 图示: 三.添加矩形个文本以及上色 图示:

  3. 每周荐书:云原生、Docker、Web算法(评论送书)

    每周荐书:云原生.Docker.Web算法(评论送书) 感谢大家对每周荐书栏目的支持,先公布下上周中奖名单 名优秀评论可以免费获得此书.   云原生应用架构实践 云原生架构,关注简化开发流程.提升研发 ...

  4. 特殊的 html 空格

    http://www.zhangxinxu.com/wordpress/2015/01/tips-blank-character-chinese-align/

  5. Keras 自定义层

    1.对于简单的定制操作,可以通过使用layers.core.Lambda层来完成.该方法的适用情况:仅对流经该层的数据做个变换,而这个变换本身没有需要学习的参数. # 切片后再分别进行embeddin ...

  6. TreeSet中自定义Comparator实现降序

    @Test public void test1() { TreeSet ts = new TreeSet<Integer>(new MyComparator()); ts.add(3); ...

  7. hiredis处理zscan和hscan的reply

    zscan的返回值可以看做是一个二维数组,第一维包含两个元素:string类型的游标cursor和集合元素数组:第二维即集合元素数组,这个数组交替存放着集合元素和score,元素和score也都是st ...

  8. jquery插件的2种扩展开发(jQuery.extend和jQuery.fn.extend的区别)

    1.类级别 jQuery.extend(object) 类级别你可以理解为拓展jquery类,最明显的例子是$.ajax(...),相当于静态方法. 开发扩展其方法时使用$.extend方法,即jQu ...

  9. WPF 应用完全模拟 UWP 的标题栏按钮

    WPF 自定义窗口样式有多种方式,不过基本核心实现都是在修改 Win32 窗口样式.然而,Windows 上的应用就应该有 Windows 应用的样子嘛,在保证自定义的同时也能与其他窗口样式保持一致当 ...

  10. hbase单机及集群安装配置,整合到hadoop

    问题导读:1.配置的是谁的目录conf/hbase-site.xml,如何配置hbase.rootdir2.如何启动hbase?3.如何进入hbase shell?4.ssh如何达到互通?5.不安装N ...