说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1) 1.安装vmmare,创建3台虚拟机名字为hadoop1,hadoop2,hadoop3,都是centos6.5操作系统,网络选择桥接模式如图 2.创建完虚拟机后,启动虚拟机,然后运行ifconfig发现eth0网卡没有,这时不用急,去这个目录下找到ifcfg-eth0文件,然后…

一:ZooKeeper集群安装配置 1:解压zookeeper-3.3.2.tar.gz并重命名为zookeeper. 2:进入~/zookeeper/conf目录: 拷贝zoo_sample.cfg文件为zoo.cfg,并编辑如下: dataDir=/home/hadoop/zookeeper/data server.1=192.168.59.133:2888:3888 server.2=192.168.59.134:2888:3888 server.3=192.168.59.135:2888…

近期给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3.主要是配置JDK.安装Tomcat,Hadoop.HBase和Zookeeper软件.博主在Hadoop这方面也是新手.配置这个环境遇到过很多问题.查了很多资料.这里做一个总结.以便日后回想. 首先是账户权限的改动,安装软件环境须要上传文件和一些系统文件的改动权限,所以最好设置成root权限 权限改动方法:http://www.linuxidc.com/Linux/2012-03/55629.htm 软件的安装.网上有很…

伟大的程序员版权所有,转载请注明:http://www.lenggirl.com/bigdata/server-sofeware-install.html 一.安装mongodb 官网下载包mongodb 配置文件config.conf,需绑定内网IP且开启web监控 bind_ip=172.16.0.10,127.0.0.1 rest=true dbpath=/data/db/mongodb/27017 port=27017 logpath=/data/logs/db/mongodb/mong…

通过之前的hadoop0.20.2的安装并调试成功,接下来我们继续安装hbase0.90.5.在安装hbase0.90.5之前,因为hbase0.90.5只支持jdk1.6,所以,我把之前的jdk1.8卸载,重新安装了jdk1.6.  第一步: 首先需要下载hbase0.90.5.tar.gz,并解压到/home/hadoop/的目录下,同时将目录修改为hbase0.90.5 第二步: 替换hadoop核心jar包,主要母的是防止hbase和hadoop版本不同出现兼容问题,造成hmaster启…

Hbase是Hadoop生态系统中的NoSql列式数据库.通过Hbase,可以进行数据读写,比较适合Top n场景.Hbase搭建的系统,瓶颈在于硬盘的传输速度.RDBMS一般的瓶颈在于寻道速度. 实验环境: CentOS6.5,Hbase 1.2.0. Node1 master Node2 regionServer Node3 regionServer 一.Hbase下载解压 下载解压后放到任意目录,我放在了我的用户主目录下(-) 二.环境参数配置 在环境参数中添加Hbase的配置. #set…

大数据集群为了保证故障转移,一般通过zookeeper来整体协调管理,当节点数大于等于6个时推荐使用,接下来描述一下Hbase集群部署在zookeeper上的过程: 安装Hbase之前首先系统应该做通用的集群环境准备工作,这些是必须的: 1.集群中主机名必须正确配置,最好有实际意义:并且主机名都在hosts文件中对应主机IP,一一对应,不可缺少 这里集群有6台服务器:bigdata1,bigdata2,bigdata3,bigdata4,bigdata5,bigdata6 这里是3台主机,分别对…

HBase的安装 本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式. 安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配. 我将要安装的hbase是hbase-0.94.11版本,需要的hadoop是hadoop-1.2.1版本. hbase下载地址:http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.11/ 将下载的hbase-0.94.11解压到相应的目录,如/usr/hbase-0.94…

Hbase总结(一)-hbase命令 下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数 count  '表名称' 删除记录 delete  '表名' ,'行名称' , '列名称' 删除一张表 先要屏蔽该表,才能对…

在安装Hbase之前,需要有hadoop的运行环境,关于hadoop的安装过程,请查看我之前的blog:hadoop安装笔记:或者另一个博主的超详细文章http://weixiaolu.iteye.com/blog/1401931 HBase在HDFS上运行,还需要Zookeeper的依赖,所以首先要进行Zookeeper的安装 Zookeeper安装 首先在http://www.apache.org/dyn/closer.cgi/zookeeper/选择自己需要的Zookeeper版本进行下载…