Hadoop 1.1.2 和Hbase 0.94.11版本配置

测试时ip  172.19.32.128

这个版本需要把/etc/hosts的aa-vm改成127.0.0.1,也就是和localhost一致。否则hbase会出现master在初始化(出现此问题还可能是时间不同步)

1.更新apt

  Sudo apt-get update

  Sudo apt-get install vim

2.安装ssh,设置无密码登陆

  Sudo apt-get install openssh-server

  Ssh localhost

  Exit

  Cd  ~/.ssh/

  Ssh-keygen –t rsa

  Cat ./id_rsa.pub >> ./authorized_keys

  再使用ssh localhost就不需要密码

3.安装java环境

  Sudo apt-get install default-jre default-jdk

  vim ~/.bashrc

    在文件前面添加export JAVA_HOME=/usr/lib/jvm/default-java

  Source ~./bashrc

  echo $JAVA_HOME

  java -version

  $JAVA_HOME/bin/java -version

4.安装hadoop

  Sudo tar –zxf ~/下载/hadoop-1.1.2.tar.gz –C /usr/local

  Cd /usr/local

  Sudo mv ./hadoop-1.1.2/ ./hadoop

  Sudo chown –R hadoop ./hadoop

  Cd /usr/local/hadoop

  ./bin/hadoop version

5.伪分布式配置

  Cd /usr/local/hadoop/conf

  Vim hadoop-env.sh

      添加:export JAVA_HOME=/usr/lib/jvm/default-java

      export PATH=$PATH:/usr/local/hadoop/bin

source hadoop-env.sh

hadoop version

vim core-site.xml

<configuration>

        <property>

          <name>fs.default.name</name>

            <value>hdfs://localhost:9000</value>

        </property>

         <property>

          <name>hadoop.tmp.dir</name>

           <value>/usr/local/hadoop/tmp</value>

          </property>

      </configuration>

Vim hdfs-site.xml

<configuration>

        <property>

          <name>dfs.replication</name>

          <value>1</value>

        </property>

        <property>

          <name>dfs.name.dir</name>

          <value>/usr/local/hadoop/hdfs/name</value>

        </property>

        <property>

          <name>dfs.data.dir</name>

          <value>/usr/local/hadoop/hdfs/data</value>

        </property>

      </configuration>

./bin/hadoop namenode –format

./bin/start-dfs.sh

Jps

6. 创建hdfs用户目录

  Cd /usr/local/hadoop

  ./bin/hadoop fs –mkdir –p /user/hadoop

  ./bin/hadoop fs –ls. (这个.是hdfs用户当前目录,等价于./bin/hadoop fs –ls /user/hadoop)

  ./bin/hdfs dfs –mkdir input

    (在创建个input目录时,采用了相对路径形式,实际上,这个input目录创建成功以后,它在HDFS中的完整路径是“/user/hadoop/input”。

  ./bin/hdfs dfs –mkdir /input

    是在HDFS的根目录下创建一个名称为input的目录

7.   Hdfs文件操作

  本地文件系统上传到hdfs

    ./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt  input

    ./bin/hdfs dfs –ls input 查看是否成功上传

    ./bin/hdfs dfs –cat input/myLocalFile.txt

  Hdfs下载到本地文件系统

    ./bin/hdfs dfs -get input/myLocalFile.txt  /home/hadoop/下载

  Hdfs的一个目录拷贝到hdfs的另一个目录

    ./bin/hdfs dfs -cp input/myLocalFile.txt  /input

8.  Hbase安装

    sudo tar -zxf ~/下载/hbase-0.94.11-security.tar.gz -C /usr/local

    sudo mv /usr/local/hbase-1.1.2-security /usr/local/hbase

    vim ~/.bashrc

      export PATH=$PATH:/usr/local/hbase/bin

    source ~/.bashrc

    cd /usr/local

    sudo chown -R hadoop ./hbase

    /usr/local/hbase/bin/hbase version

12.   Hbase伪分布式配置

    Vim /usr/local/hbase/conf/hbase-env.sh

      添加:export JAVA_HOME=/usr/lib/jvm/default-java

      export HBASE_MANAGES_ZK=true

    vim /usr/local/hbase/conf/hbase-site.xml

  设置:

        <configuration>

       <property>

         <name>hbase.rootdir</name>

        <value>hdfs://localhost:9000/hbase</value>

        </property>

       <property>

         <name>hbase.cluster.distributed</name>

         <value>true</value>

          </property>

     <property>

              <name>hbase.zookeeper.quorum</name>

               <value>127.0.0.1</value>

            </property>

            <property>

               <name>dfs.replication</name>

               <value>1</value>

            </property>

          </configuration>

ssh localhost

   cd /usr/local/hadoop

  ./bin/start-dfs.sh

  Jps

cd /usr/local/hbase

  bin/start-hbase.sh

  jps

  bin/hbase shell

  exit

  bin/stop-hbase.sh

13.   关闭hadoop:./sbin/stop-dfs.sh

14.   访问hbaseweb管理页面 http://172.19.32.128:60010/

  访问hdfs web管理页面http://172.19.32.128:50070/

15.  解决Hbase Table already exists问题。

  通过./hbase zkcli命令进入zookeeper client模式

  输入ls /hbase/table命令看到zombie table

  使用rmr /hbase/table/TABLE_NAME命令删除zombie table

  重启Hbase

伪分布式hadoop1.1.2和hbase0.94.11配置的更多相关文章

  1. 谁说他们版本不兼容——hadoop1.2.1+hbase0.94.11+nutch2.2.1+el

    一.背景 最近由于项目和论文的需要,需要搭建一个垂直搜索的环境,查阅了很多资料,决定使用Apache的一套解决方案hadoop+hbase+nutch+es.这几样神器的作用就不多作介绍了,自行参考各 ...

  2. hadoop1.2.1+hbase0.94.11+nutch2.2.1+elasticsearch0.90.5安装配置攻略

    一.背景 最近由于项目和论文的需要,需要搭建一个垂直搜索的环境,查阅了很多资料,决定使用Apache的一套解决方案hadoop+hbase+nutch+es.这几样神器的作用就不多作介绍了,自行参考各 ...

  3. 使用ycsb对hbase0.94.11 benchmark

    Ycsb下载地址:https://github.com/brianfrankcooper/YCSB/releases 目前测试hbase0.94.11,因此下载ycsb-0.1.4.tar.gz 1. ...

  4. Hadoop-1.1.2、HBase-0.94.7完全分布式集群结构

    爱的技术可以应用到实际生活生产,做艺术向往的东西不腻和音乐. 现将前期手里面的一个项目做一个大致的总结,与大家一起分享.交流.进步. 项目如今正在线上执行,项目名--基于Hadoop的数据分析综合管理 ...

  5. 第三章:Hadoop简介及配置Hadoop-1.2.1,hbase-0.94.13集群

    前面给大家讲了怎么安装Hadoop,肯定会有人还是很迷茫,装完以后原来就是这个样子,但是怎么用,下面,先给大家讲下Hadoop简介:大致理解下就OK了 hadoop是一个平台,提供了庞大的存储和并行计 ...

  6. [转]CentOS下安装伪分布式Hadoop-1.2.1

    From: http://blog.csdn.net/yinan9/article/details/16805275 环境:CentOS 5.10(虚拟机下) [root@localhost hado ...

  7. hbase0.94.11版本和hbase1.4.9版本的benchamark区别

    1.起初使用ycsb对hbase进行benchmark,分别在100%写的情况下检测写性能:在100%读的情况下检测读的性能.实验数据如下: 2.新版本的habse写性能竟然不如老版本.!!!.于是我 ...

  8. Hadoop1 Centos伪分布式部署

    前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环 ...

  9. 伪分布式hbase从0.94.11版本升级stable的1.4.9版本

    Hbase从0.94.11升级到stable的1.4.9版本: 升级思路: hadoop1.1.2    hbase 0.94.11                             ↓ had ...

随机推荐

  1. ansible笔记(7):常用模块之系统类模块

    ansible笔记():常用模块之系统类模块 cron模块 cron模块可以帮助我们管理远程主机中的计划任务,功能相当于crontab命令. 在了解cron模块的参数之前,先写出一些计划任务的示例,示 ...

  2. Linux系统下安装pycharm

    在 linux下打开浏览器,搜索pycharm,点击download. 下载好的文件的名称可能是 ‘pycharm-professional-2018.3.5.tar.gz’. 打开终端界面,输入命令 ...

  3. 小白6步搞定vue脚手架创建项目

    1.安装node及npm node -v (测试node是否安装成功)npm -v(测试npm是否安装成功) 2.安装cnpm npm install -g cnpm --registry=http: ...

  4. Codeforces 1097G Vladislav and a Great Legend [树形DP,斯特林数]

    洛谷 Codeforces 这题真是妙的很. 通过看题解,终于知道了\(\sum_n f(n)^k​\)这种东西怎么算. update:经过思考,我对这题有了更深的理解,现将更新内容放在原题解下方. ...

  5. 用json获取拉钩网的信息

    class LaoGo(object): def __init__(self): self.url="http://www.lagou.com/lbs/getAllCitySearchLab ...

  6. kafka消息的分发与消费

    关于 Topic 和 Partition: Topic: 在 kafka 中,topic 是一个存储消息的逻辑概念,可以认为是一个消息集合.每条消息发送到 kafka 集群的消息都有一个类别.物理上来 ...

  7. js获取url协议、url, 端口号等信息路由信息

    以路径为 http://www.baidu.com  为例 console.log("location:"+window.location.href); >> &quo ...

  8. Vue注意事项及用得较多的属性归纳

    1.prop是一个对象而不是字符串数组时,它包含验证要求.props: { // 基础类型检测 (`null` 意思是任何类型都可以) propA: Number, // 多种类型 propB: [S ...

  9. @ResponseBody 和 @RequestBody 的作用

    先提一嘴 @RequestMapping(“url”),这里的 url写的是请求路径的一部分,一般作用在 Controller的方法上,作为请求的映射地址. 代码: @RequestMapping(v ...

  10. Pymysql-总结

    背景:工作需要大量链接数据库进行一些操作查询,但是也会有出现异常情况 1.添加字段 1 ALTER TABLE app01_student ADD COLUMN Relation VARCHAR(25 ...