首页
Python
Java
IOS
Andorid
NodeJS
JavaScript
HTML5
【
吴超老师课程--HBASE的集群安装
】的更多相关文章
吴超老师课程--HBASE的集群安装
1.hbase的机群搭建过程(在原来的hadoop上的hbase伪分布基础上进行搭建)1.1 集群结构,主节点(hmaster)是hadoop,从节点(region server)是hadoop1和hadoop21.2 修改hadoop上的hbase的几个文件 (1)修改hbase-env.sh的最后一行export HBASE_MANAGES_ZK=false (2)修改hbase-site.xml文件的hbase.zookeeper.quorum的值为hadoop,hadoop1…
吴超老师课程--Hbase介绍和伪分布式安装
1.HBase(NoSQL)的数据模型1.1 表(table),是存储管理数据的.1.2 行键(row key),类似于MySQL中的主键. 行键是HBase表天然自带的.1.3 列族(column family),列的集合. HBase中列族是需要在定义表时指定的,列是在插入记录时动态增加的. HBase表中的数据,每个列族单独一个文件.1.4 时间戳(timestamp),列(也称作标签.修饰符)的一个属性. 行键和列确定的单元格,可以存储多个数据,每个数据含有时间…
吴超老师课程--Hive的介绍和安装
1.Hive1.1在hadoop生态圈中属于数据仓库的角色.他能够管理hadoop中的数据,同时可以查询hadoop中的数据. 本质上讲,hive是一个SQL解析引擎.Hive可以把SQL查询转换为MapReduce中的job来运行. hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表.字段转换为HDFS中的文件(夹)以及文件中的列. 这套映射工具称之为metastore,一般存放在derby.mysql中. 1.2 hive在hdfs中的默认位置是…
吴超老师课程--Hbase Shell
hbase提供了一个shell的终端给用户交互 名称 命令表达式 创建表 create '表名称', '列族名称1','列族名称2','列族名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数 count '表名称' 删除记录 delete '表名' ,'行名称' , '列名称' 删除一张表 先要屏蔽该表,才能对该表进行删除,第一步 disable '表名称' 第二步 drop '表名称' 查看所有记…
吴超老师课程--HBASE的Java_API
public static void main(String[] args) throws IOException { String tableName="hbase_tb"; String columnFamily="cf"; HBaseTestCase.create(tableName, columnFamily); HBaseTestCase.put(tableName, "row1", columnFamily, "cl1&qu…
吴超老师课程--HBASE的查询手机项目
查询1.按RowKey查询2.按手机号码查询3.按手机号码的区域查询 //查询手机13450456688的所有上网记录 public static void scan(String tableName) throws IOException{ HTable table = new HTable(getConfiguration(), tableName); Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes("13450456688:/&…
吴超老师课程---Hadoop的伪分布安装
1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3关闭防火墙的自动运行 执行命令 chkconfig iptables off 验证: chkconfig --list | grep iptables1.4 设置主…
吴超老师课程--Pig的介绍和安装
1.Pig是基于hadoop的一个数据处理的框架. MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行. 2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题.一步一步来的,跟SQL不一样,SQL一步就得到答案, 3.Pig基本数据类型:int.long.float.double.chararry.bytearray 复合数据类型:Map.Tuple.Bag Bag的类型如{('age',31),('name',…
Hbase的集群安装
hadoop集群的搭建 搭建真正的zookeeper集群 Hbase需要安装在成功部署的Hadoop平台,并且要求Hadoop已经正常启动. 同时,HBase需要集群部署,我们分别把HBase 部署到主机:guoyansi128 guoyansi129 guoyansi130 1.下载hbase-1.2.4-bin.tar.gz;并且上传到/usr/local/src中 2.解压缩并且把解压缩后的文件移动到上级目录 3.修改 /usr/lcoal/hbase-1.4.8/conf/hbase…
Centos 下 Apache 原生 Hbase + Phoenix 集群安装(转载)
前置条件 各软件版本:hadoop-2.7.7.hbase-2.1.5 .jdk1.8.0_211.zookeeper-3.4.10.apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz 至少 3 台 Centos 服务器,主机名分别为:hadoop0001.hadoop0002.hadoop0003 这里所有的软件将安装在 hadoop 用户的 /home/hadoop/app 目录下 在每台服务器设置 hosts [hadoop@hadoop0001 ~]$ v…