1.Hive1.1在hadoop生态圈中属于数据仓库的角色.他能够管理hadoop中的数据,同时可以查询hadoop中的数据.  本质上讲,hive是一个SQL解析引擎.Hive可以把SQL查询转换为MapReduce中的job来运行.  hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表.字段转换为HDFS中的文件(夹)以及文件中的列.  这套映射工具称之为metastore,一般存放在derby.mysql中. 1.2 hive在hdfs中的默认位置是…

1.Pig是基于hadoop的一个数据处理的框架.  MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行. 2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题.一步一步来的,跟SQL不一样,SQL一步就得到答案, 3.Pig基本数据类型:int.long.float.double.chararry.bytearray     复合数据类型:Map.Tuple.Bag  Bag的类型如{('age',31),('name',…

为什么选择Hive? (1)基于Hadoop的大数据的计算/扩展能力(2)支持SQL like查询语言(3)统一的元数据管理(4)简单编程 一:Hive的数据类型(1)基本数据类型tinyint/smallint/int/bigintfloat/doublebooleanstring(2)复杂数据类型Array/Map/Struct没有date/datetime (3)Hive的数据存储Hive的数据存储基于Hadoop HDFSHive没有专门的数据存储格式存储结构主要包括:数据库.文件.表.…

1.1 设置ip地址    执行命令    service network restart    验证:         ifconfig1.2 关闭防火墙    执行命令    service iptables stop    验证:        service iptables status1.3关闭防火墙的自动运行    执行命令    chkconfig iptables off    验证:        chkconfig --list | grep iptables1.4 设置主…

1.hbase的机群搭建过程(在原来的hadoop上的hbase伪分布基础上进行搭建)1.1 集群结构,主节点(hmaster)是hadoop,从节点(region server)是hadoop1和hadoop21.2 修改hadoop上的hbase的几个文件    (1)修改hbase-env.sh的最后一行export HBASE_MANAGES_ZK=false    (2)修改hbase-site.xml文件的hbase.zookeeper.quorum的值为hadoop,hadoop1…

SQOOP是用于对数据进行导入导出的.    (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中    (2)把HDFS.Hive.HBase中的数据导出到MySQL.Oracle等数据库中 一:安装步骤1.解压.设置环境变量,略2.把mysql.............jar放到$SQOOP_HOME/lib中 二:把mysql中的表复制到hdfs/hive中sqoop                                             …

1.HBase(NoSQL)的数据模型1.1 表(table),是存储管理数据的.1.2 行键(row key),类似于MySQL中的主键.     行键是HBase表天然自带的.1.3 列族(column family),列的集合.    HBase中列族是需要在定义表时指定的,列是在插入记录时动态增加的.    HBase表中的数据,每个列族单独一个文件.1.4 时间戳(timestamp),列(也称作标签.修饰符)的一个属性.    行键和列确定的单元格,可以存储多个数据,每个数据含有时间…

1.ZooKeeper    1.1 zk可以用来保证数据在zk集群之间的数据的事务性一致.2.如何搭建ZooKeeper服务器集群    2.1 zk服务器集群规模不小于3个节点,要求各服务器之间系统时间要保持一致.    2.2 在hadoop0的/usr/local目录下,解压缩zk....tar.gz,重命名zk,设置环境变量,使环境变量生效            tar -zxvf xxxxx            mv zookeeper.xx   zk            vi…

常用的分布式日志收集系统…

hbase提供了一个shell的终端给用户交互 名称 命令表达式 创建表 create '表名称', '列族名称1','列族名称2','列族名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数 count  '表名称' 删除记录 delete  '表名' ,'行名称' , '列名称' 删除一张表 先要屏蔽该表,才能对该表进行删除,第一步 disable '表名称' 第二步  drop '表名称' 查看所有记…