现如今,分布式架构大行其道,实际项目中使用HBase也是比比皆是.虽说自己在分布式方面接触甚少,但作为程序猿还是需要不断的给自己充电的.网上搜索了一些教程,还是觉得<HBase权威指南>不错,原版有第二版了,可惜没找到.这本书虽说旧了点,入门应该还是不错的. 我是在Win10系统用VMware 12装了一台CentOS 7的虚拟机,使用Xshell 5远程管理,使用的HBase 1.2.6版本. 一,XShell连接CentOS 1,VMWare 12安装 CentOS参见:vmware12安…

一.概述 在hadoop生态圈里,hbase可谓是鼎鼎大名.江湖传言,hbase可以实现数十亿行X数百万列的实时查询,可横向扩展存储空间.如果传言为真,那得好好了解了解hbase.本文从概念上介绍hbase,稍微有点抽象,但这是学习hbase必须要了解的基础理论:如果想直接了解hbase的实操内容,可跳过本博文. 二.hbase介绍 先看看hbase官方的介绍:hbase是hadoop数据库,是一个分布式的,可扩展的大数据存储库:当需要对大数据进行随机,实时读/写访问时,可以使用hbase数据库…

本文将介绍大数据的知识和Hbase的基本概念,作为大数据体系中重要的一员,Hbase弥补了Hadoop只能离线批处理的不足,支持存储小文件,随机检索.而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持.这使得Hbase在实时流式计算中也扮演者重要的角色. 1.大数据与Hbase 大数据在近几年发展迅速,而实时计算也是一个重要的发展趋势.不管是企业中的日志数据,还是传感器.智能设备等等产生的数据,不计其数. 而这些数据中结构化的数据只占一小部分,大部分是非结构化的数据.这个时候,…

一.概述 在上一篇博文中,我简要介绍了hbase的部分基础概念,如果想初步了解hbase的理论,可以参看上一篇博文 hbase系列之:初识hbase .本博文主要介绍独立模式下部署hbase及hbase的几个基本操作,需要具备一定的Linux基础. 二.部署前准备 1.纯净的Linux系统,本文使用CentOS7.5,IP地址为:192.168.200.31. 2.安装jdk并配置环境变量,本文使用jdk1.8.参看下文“java对hbase的版本支持”小节的内容. 3.新建hbase用户,并设…

一.初识HBase HBase 是一个面向列式存储的分布式数据库,其设计思想来源于 Google 的 BigTable 论文.HBase 底层存储基于 HDFS 实现,集群的管理基于 ZooKeeper 实现.HBase 良好的分布式架构设计为海量数据的快速存储.随机访问提供了可能,基于数据副本机制和分区机制可以轻松实现在线扩容.缩容和数据容灾,是大数据领域中 Key-Value 数据结构存储最常用的数据库方案. HBase特点 易扩展 Hbase 的扩展性主要体现在两个方面,一个是基于运算能力…

简介 数据模型 相关数据库 典型应用 优势 劣势 key-value Redis 缓存 快速查询 存储数据缺乏结构化 列族 Cassandra,Hbase 分布式的文件系统,大规模的数据存储 易于分布式扩展 功能受限 document Mongo,CouchDB 易用 可扩展性差 图 Neo4J 社交网络 利用图结构相关算法 不易扩展 从NoSQL分类来说,Hbase和Cassandra是一类数据库,都是列族数据类型. 关于hbae和cassandra的对比可以看下为什么国内流行hbase,国外…

第一部分:              初识Hadoop 一.             谁说大象不能跳舞 业务数据越来越多,用关系型数据库来存储和处理数据越来越感觉吃力,一个查询或者一个导出,要执行很长时间,这是因为数据的吞吐量太大了,导致整个程序看上去像一只体型庞大.行动笨拙的大象. Hadoop天生就是来解决数据吞吐量太大的,它可以使大数据的存储和处理变的快速.使得应用程序运行的更加的轻盈.像<Hadoop权威指南>封皮上那句话:"谁说大象不能跳舞?!". 二.     …

初识hadoop入门介绍 Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身. <Hadoop基础教程>是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史.核心技术和应用场景有了初步了解. ·        Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎.它提供了我们运行自己的搜索引擎所需的全…

搞什么东西之前,第一步是要知道What(是什么),然后是Why(为什么),最后才是How(怎么做).但很多开发的朋友在做了多年项目以后,都习惯是先How,然后What,最后才是Why,这样只会让自己变得浮躁,同时往往会将技术误用于不适合的场景.       ----转自某博文 Hadoop框架中最核心的设计就是:MapReduce和HDFS,而两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如HBase.Hive等,这些都是基于HDFS和MapReduce发展出来…

大数据测试之初识Hadoop POPTEST老李认为测试开发工程师是面向测试的开发,也就是说,写代码就是为完成测试任务服务的,写自动化测试(性能自动化,功能自动化,安全自动化,接口自动化等等)的case或者开发测试工具完成不同类型的测试.其实自动化测试涉及面非常之广,目前来讲,case基本都可以写成自动化,而性能测试的脚本开发要围绕业务和协议特点来完成开发,并测试完成后依靠软件分析工具对被测试系统进行评估测试. 未来的技术趋势是云测试,大数据测试,安全性测试,这些要完成测试都需要自动化来完成,而…