一.HBase概述 1.HBase是Hadoop数据库,是一个分布式.可扩展的大数据存储. HBase是用于对大数据进行随机.实时读写访问的非关系型数据库,它的目标托管非常大的表——数十亿行N百万列. 正如Bigtable利用Google文件系统提供的分布式数据存储一样,HBase在Hadoop的HDFS之上提供类似Bigtable的功能. 2.HBase架构 Zookeeper => ZK中存储了HMaster的元数据信息 HMaster   => 主节点 HRegionServer   =…

一.Kafka概述 1.Kafka是一个分布式流媒体平台,它有三个关键功能: (1)发布和订阅记录流,类似于消息队列或企业消息传递系统: (2)以容错的持久方式存储记录流: (3)记录发送时处理流. 2.Kafka通常应用的两大类应用 (1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道: (2)构建转换或响应数据流的实施流应用程序. 3.Kafka中的角色 发送消息:Producer 接收消息:Consumer 后台系统向kafka集群发送消息,然后kafka集群向用户分发消息 4.为…

一.Zookeeper概述 1.Zookeeper是Hadoop生态的管理者,它致力于开发和维护开源服务器,实现高度可靠的分布式协调. 2.Zookeeper的两大功能: (1)存储数据 (2)监听 3.Zookeeper的工作机制,如图: 4.Zookeeper存储结构,以树状结构存储 5.Zookeeper的应用场景 (1)集群统一的配置.命名管理 比如搭建hdfs集群时,修改完配置文件要将文件发送到其他机器中, zookeeper可以快速的将配置文件发送到所有机器: 再比如百度的域名:ww…

一.Flume概述 Flume是一种分布式.可靠且可用的服务,用于有效的收集.聚合和移动大量日志文件数据.Flume具有基于流数据流的简单灵活的框架,具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错能力.Flume使用简单的的可扩展数据模型,循环在线分析应用程序. 二.Flume的作用 数据的来源大致有三类: 1.爬虫 2.日志数据 =>使用Flume进行获取传输 3.传统数据库 =>使用Sqoop进行数据迁移 三.Flume架构 1.source:数据源 接收webser端的数据…

一.Spark概述 spark官网:spark.apache.org Spark是用的大规模数据处理的统一计算引擎,它是为大数据处理而设计的快速通用的计算引擎.spark诞生于加油大学伯克利分校AMP实验室. mapreduce(MR)与spark的对比: 1.MR在计算中产生的结果存储在磁盘上,spark存储在内存中: 2.磁盘运行spark的速度是MR的10倍,内存运行spark是MR的100多倍: 3.spark并不是为了替代Hadoop,而是为了补充Hadoop: 4.spark没有存储…

HBase的安装是是建立在hadoop和zookeeper集群之上的 安装的步骤跟伪分布式差不多,只是修改了一些配置文件 解压缩.重命名.设置环境变量 把hbase-0.94.2-security.tar.gz复制到/home/hadoop 解压hbase-0.94.2-security.tar.gz与重命名 #cd /home/hadoop #tar -zxvf hbase-0.94.2-security.tar.gz #mv hbase-0.94.2-security hbase 修改/et…

目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包到libext目录 5.拷贝mysql的驱动包到libext目录下 6.上传ext-2.2.zip压缩包到libext目录下 7.修改oozie-site.xml 8.创建mysql数据库 9.上传oozie依赖的jar包到hdfs上面去 10.创建oozie的数据库表 11.打包项目,生成war包…

目录 一.系统环境 二.前言 三.etcd数据库 3.1 概述 四.安装部署etcd单节点 4.1 环境介绍 4.2 配置节点的基本环境 4.3 安装部署etcd单节点 4.4 使用客户端访问etcd服务 4.4.1 使用2版本API管理etcd 4.4.2 使用3版本API管理etcd 五.安装部署etcd集群 5.1 环境介绍 5.2 把etcd2机器加入集群 5.3 把etcd3机器加入集群 六.etcd做快照备份数据 七.etcd恢复数据 八.Kubernetes(k8s)中以pod方式…

Hbase单机安装部署 http://blogxinxiucan.sh1.newtouch.com/2017/07/27/Hbase单机安装部署/ 下载Hbase Hbase官网下载地址 http://www.apache.org/dyn/closer.cgi/hbase/ 解压 tar -zvxf hbase-0.94.27.tar.gz cd hbase-0.94.27 配置 cd conf/ vi hbase-site.xml <configuration> <property&g…

0x01 软件环境 OS: CentOS6.5 x64 java: jdk1.8.0_111 hadoop: hadoop-2.5.2 hbase: hbase-0.98.24 0x02 集群概况 IP hostname 192.168.1.10 master 192.168.1.11 slave1 192.168.1.12 slave2 0x03 安装HBase 下载.解压 下载地址:http://www.apache.org/dyn/closer.cgi/hbase/ 软件版本:hbase-…