HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库.它是面向列的,并适合于存储超大型松散数据.HBase适合于实时,随机对Big数据进行读写操作的业务环境. @hbase单机环境的搭建 1.首先配置好JDK,准备好hbase-0.98.12.1-hadoop2-bin.tar的压缩包,然后解压到相应目录中 2.进入conf/hbase-env.sh.文件,进行JDK的配置,将其中的JAVA_HOME指向到你Java的安装目录 3.编辑conf/hbase-site.xml文件,添…

DB分布式-两种方式 1. JDBC扩展     sharding-jdbc: 直接封装JDBC,代码迁移成本低,适用于任何连接池及ORM框架,JAR包提供服务,未使用中间层,不用额外部署,DBA无需改变原有运维方式,使用DRUID sql解析器,速度快.     分布策略灵活,SQL解析功能完善,能支持分布式生成全局主键,读写分离,柔性(努力送达)事物   盗图    TDDL(taobao data distribute layer):中间层,以jar包形式调用 2. 服务中间件     A…

一 Hbase是个啥东东?  在说Hase是个啥家伙之前,首先我们来看看两个概念.面向行存储和面向列存储.面向行存储.我相信大伙儿应该都清楚,我们熟悉的RDBMS就是此种类型的.面向行存储的数据库主要适合于事务性要求严格场合,或者说面向行存储的存储系统适合OLTP.可是依据CAP理论,传统的RDBMS.为了实现强一致性,通过严格的ACID事务来进行同步,这就造成了系统的可用性和伸缩性方面大大折扣.而眼下的非常多NoSQL产品,包含Hbase,它们都是一种终于一致性的系统,它们为了高的可用性牺牲了…

HBase 安装分为:单击模式,伪分布式,完全分布式,在单机模式中,HBase使用本地文件系统而不是HDFS ,所有的服务和zooKeeper都运作在一个JVM中.本文是安装的伪分布式. 安装步骤如下 1 环境配置 2 安装说明 1 环境配置 1.1 Java JDK 安装,下载JDK,配置环境变量 sudo nano /etc/profile export JAVA_HOME=/usr/dev/jdk1.7.0_51 export HADOOP_HOME=/home/lcc/software/…

明天回家就没有网络,今晚就将整个编写过程记录下来.顺带整理思路以解决未能解决的问题. 标题有点托大,想将Berkeley DB做成分布式存储,感觉很高端的样子,实际上就是通过ssh将Berkeley DB备份到其他网络地址上,查询的时候向多台电脑发送查询请求并返回结果,仅此而已.现在属于编写阶段,如果效果好会考虑用来做web项目的数据库也不一定. 还是这个图:…

Hbase从0.94.11升级到stable的1.4.9版本: 升级思路: hadoop1.1.2    hbase 0.94.11                             ↓ hadoop1.1.2    hbase 0.96.0-hadoop1                             ↓ hadoop1.1.2    hbase 0.98.0-hadoop1                             ↓ Hadoop2.2.0    hbase…

https://www.jianshu.com/p/990bb550be3b hbase0.94.11(hadoop为1.1.2,此电脑ip为172.19.32.128)向hbase1.1.2 (hadoop为2.6.5,此电脑ip为172.19.32.118)数据迁移. 第一步:首先必须关闭防火墙. Sudo ufw status   (如果没有下载ufw,则sudo apt-get install ufw) Sudo ufw enable Sudo ufw disable Sudo ufw…

查看是否启动成功,输入jps,看到有HMaster和HQuorumPeer,浏览器输入http://localhost:16030/master-status,能打开说明成功 hbase(main):001:0> lcc@lcc-HP-Pro-3380-MT:~$ jps 28522 NodeManager 817 Jps 27997 DataNode 28206 SecondaryNameNode 386 HMaster 28380 ResourceManager 27823 NameNode…

ylbtech-杂项-DB:内存数据库 内存数据库,顾名思义就是将数据放在内存中直接操作的数据库.相对于磁盘,内存的数据读写速度要高出几个数量级,将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能. 1. 数据库简介返回顶部 内存数据库抛弃了磁盘数据管理的传统方式,基于全部数据都在内存中重新设计了体系结构,并且在数据缓存.快速算法.并行操作方面也进行了相应的改进,所以数据处理速度比传统数据库的数据处理速度要快很多,一般都在10倍以上.内存数据库的最大特点是其“主拷贝”或“工作版本”常驻内…

ylbtech-杂项-DB:Druid Apache Druid (incubating) is a high performance analytics data store for event-driven data. 1.返回顶部   2.返回顶部   3.返回顶部   4.返回顶部   5.返回顶部 0. http://druid.io/ 1.   6.返回顶部   作者:ylbtech出处:http://ylbtech.cnblogs.com/本文版权归作者和博客园共有,欢迎转载,但未…

ylbtech-杂项-DB:时序数据库 1.返回顶部 1. 时序数据库全称为时间序列数据库.时间序列数据库主要用于指处理带时间标签(按照时间的顺序变化,即时间序列化)的数据,带时间标签的数据也称为时间序列数据. 时间序列数据主要由电力行业.化工行业等各类型实时监测.检查与分析设备所采集.产生的数据,这些工业数据的典型特点是:产生频率快(每一个监测点一秒钟内可产生多条数据).严重依赖于采集时间(每一条数据均要求对应唯一的时间).测点多信息量大(常规的实时监测系统均有成千上万的监测点,监测点每秒钟都…

ylbtech-杂项-DB:OLAP(联机分析处理) 联机分析处理OLAP是一种软件技术,它使分析人员能够迅速.一致.交互地从各个方面观察信息,以达到深入理解数据的目的.它具有FASMI(Fast Analysis of Shared Multidimensional Information),即共享多维信息的快速分析的特征.其中F是快速性(Fast),指系统能在数秒内对用户的多数分析要求做出反应:A是可分析性(Analysis),指用户无需编程就可以定义新的专门计算,将其作为分析的一部 分,并…

ylbtech-杂项-DB:DW/DWH(数据仓库) 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH.数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合.它是单个数据存储,出于分析性报告和决策支持目的而创建. 为需要业务智能的企业,提供指导业务流程改进.监视时间.成本.质量以及控制. 1.返回顶部   2.返回顶部   3.返回顶部   4.返回顶部   5.返回顶部 1. https://baike.baidu.com/item/数据仓库/3819…

ylbtech-杂项-DB:数据挖掘 数据挖掘(Data mining)又译为资料探勘.数据采矿.它是数据库知识发现(英语:Knowledge-Discovery in Databases,简称:KDD)中的一个步骤.数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程.数据挖掘通常与计算机科学有关,并通过统计.在线分析处理.情报检索.机器学习.专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标. 1.返回顶部   2.返回顶部   3.返回顶部   4.返回顶部   5…

ylbtech-杂项-DB:ETL(数据库仓库技术) ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).交互转换(transform).加载(load)至目的端的过程.ETL一词较常用在数据仓库,但其对象并不限于数据仓库. ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,数企业花费大量的资金和时间来构建联机事务处理OLTP的业务系统和办公自动化系统,用来记录事务处理的各种相关数据.据统计,数据量每2…

ylbtech-杂项-DB:数据库   数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增.截取.更新.删除等操作. 所谓“数据库”是以一定方式储存在一起.能与多个用户共享.具有尽可能小的冗余度.与应用程序彼此独立的数据集合.   1.返回顶部 1. 简介 数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增.截取.更新.删除等操作. 所谓“数据库”系以一定方式储存在一起.能予多个用户共享.具有尽可能小的冗余度.与应用…

准备工作: 1)安装了伪分布式hadoop:参照http://blog.csdn.net/zolalad/article/details/11472207 2)修改已安装好的hadoop配置文件: a)修改hdfs-site.xml <property>  <name>dfs.support.append</name>      <!-- 可追加-->  <value>true</value> </property>  …

HBase运行模式:单实例和分布式 HBase运行模式:单实例和分布式 1.单实例模式 1.1 单实例在HDFS下 2.分布式 2.1 伪分布式 3完全分布式 HBase有2种运行模式,单实例和分布式. 1.单实例模式 这个是默认的模式.单实例的描述可以看quickstart .在单实例模式下,hbase不使用HDFS,所有的HBase守护进程都在一个JVM下.Zookeeper绑定到所有已知的端口可以让客户端可以和HBase通信. 1.1 单实例在HDFS下 编辑hbase-site.xml,…

迄今,相信大家肯定听说过 HBase,但是对于 HBase 的了解可能仅仅是它是 Hadoop 生态圈重要的一员,是一个大数据相关的数据库技术. 今天我带你们一起领略一下 HBase 体系架构,看看它是如何大规模处理海量数据. 一.什么是 HBase? 关于 HBase 的实现,是基本遵循 Bigtable 的论文.HBase 是一个面向列的分布式数据库,也是个非关系型数据库系统(NoSQL),它建立在 Hadoop 文件系统之上.面向列的数据库是将数据表存储为数据列的一部分而不是数据行的数据库…

FROM:http://www.just4e.com/hbase.html Apache HBase™ 参考指南  HBase 官方文档中文版 Copyright © 2012 Apache Software Foundation.保留所有权利. Apache Hadoop, Hadoop, MapReduce, HDFS, Zookeeper, HBase 及 HBase项目 logo 是Apache Software Foundation的商标. Revision History Revis…

HBase官方文档 目录 序 1. 入门 1.1. 介绍 1.2. 快速开始 2. Apache HBase (TM)配置 2.1. 基础条件 2.2. HBase 运行模式: 独立和分布式 2.3.配置文件 2.4. 配置示例 2.5.重要配置   3. 升级 3.1. 从 0.94.x 升级到 0.96.x 3.2. 从 0.92.x 升级到 0.94.x 3.3. 从 0.90.x 升级到 0.92.x 3.4. 从0.20x或0.89x升级到0.90.x   4. HBase Shell…

fesh个人实践,欢迎经验交流!Blog地址:http://www.cnblogs.com/fesh/p/3804072.html 本文有点简单,详细版本请参见<分布式Hbase-0.98.4在Hadoop-2.2.0集群上的部署> Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper,构造HDFS基础上的分布式Hbase. 1 安装环境 操作系统:Ubuntu-14.04 J…

一.前述. Hbase shell启动命令窗口,然后再Hbase shell中对应的api命令如下. 二.说明 Hbase shell中删除键是空格+Ctrl键. 三.代码 1.封装所有的API package com.sxt.hbase; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; impor…

第2章 Apache HBase配置 本章在“入门”一章中进行了扩展,以进一步解释Apache HBase的配置. 请仔细阅读本章,特别是基本先决条件,确保您的HBase测试和部署顺利进行,并防止数据丢失. 熟悉支持和测试期望.   2.1 配置文件 2.1.1 配置信息介绍 Apache HBase使用与Apache Hadoop相同的配置系统. 所有配置文件都位于conf /目录中,需要保持群集中每个节点的同步 2.1.2 配置文件简介 backup-masters 默认情况下不存在.一个纯…

add by zhj: 这篇文章写的通俗易懂,介绍了HBase最重要的几点特性. 英文原文:https://dzone.com/articles/understanding-hbase-and-bigtab 译文:https://lunatictwo.github.io/2017/09/25/Hbase&&BigTable/ 学习HBase(Google BigTable 的具体实现)最困难的地方在于,HBase的概念很难让人理解. 不幸的是,在HBase和BigTable的介绍中,都包含…

一.概要 本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部署好,分布式hbase集群需要依赖zk,并且zk可以是hbase自己托管的也可以是我们自己单独搭建的,这里我们使用自己单独搭建的zk集群,我们的hadoop集群是用的cdh的发行版,所以hbase也会使用cdh的源. 二.环境 1.软件版本 centos6 zookeeper-3.4…

下载:http://mirror.bit.edu.cn/apache/hbase/stable/ 官方指南:http://abloz.com/hbase/book.html 安装配置: 解压: tar -xzvf hbase-0.96.0-hadoop1-bin.tar.gz 进入$hbase/lib下查看相关的hadoop包,看是哪个版本的hadoop. 此处只记录伪分布式Hbase的安装. 配置参数,修改hbase-site.xml: <configuration> ... <pro…

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl/p/7340681.html 转载请注明出处 最近抽空折腾自己的虚拟机环境时启动伪分布式Hbase集群一直失败,使用的Hbase版本为Apache Hbase1.0,解决过程如下 发现问题 经过仔细观察日志,发现Hbase启动的时候会报错"the hostname of regionserver cannot be set to localhost"此时HMaster进程或者HReigonserve…

一.创建单节点HBase实例 https://hbase.apache.org/book.html#quickstart (一)jdk版本要求Java: HBase Version JDK 7 JDK 8 2.0 Not Supported yes 1.3 yes yes 1.2 yes yes 1.1 yes Running with JDK 8 will work but is not well tested. (二)具体步骤: 安装和配置: 1.从Apache Download Mirro…

在Hadoop集群之上安装hbase 一.安装准备 首先我们确保在ubuntu16.04上安装了以下的产品,java1.8及其以上,ssh,hadoop集群,其次,我们需要从hbase的官网上下载并安装这个产品. 二.开始安装    这里我介绍两种安装方式,一种是在伪分布式hadoop集群上安装hbase,另一种是在分布式hadoop集群上安装hbase.    2.1.下载hbase    无论是任何安装方式,首先我们需要下载hbase.在官网上点击清华大学的镜像来下载稳定版的hbase. 在…