HBase学习系列
转自:http://www.aboutyun.com/thread-8391-1-1.html
问题导读:
1.hbase是什么?
2.hbase原理是什么?
3.hbase使用中会遇到什么问题?
4.如何通过eclipse,操作hbase?
5.hbase经常和哪些软件一起使用?
。。。。。。。。。。
![]() hbase从入门到编程
认识hbase 1.hbase简介 <ignore_js_op> 更多内容参考: 2.hbase应用场景 3.hbase与传统数据的区别 图解Nosql(hbase)与传统数据库的区别 hbase与传统数据的区别 图1传统数据库 图2:hbase数据库 4.hbase与hadoop的关系 hive与hbase的十大区别与联系
hbase中出现了Region,RegionServer,ROOT- 和.META表, HBase中有两张特殊的Table,-ROOT-和.META. HBase 各部件的作用 http://www.aboutyun.com/thread-5862-1-1.html hbase中什么是Region,什么是RegionServer? HBASE原理简述 hbase部署 我们掌握理论知识,并不是真正的认识,因为计算机是一门实践学科,下面我们开始部署hbase,什么是部署,这里是安装的意思,因为Linux的安装软件与window有所区别的,所以对于刚接触Linux的同学,在部署方面还需要花不少功夫的。 hbase的部署分为单机部署及集群部署,建议采用集群部署,在部署hbase之前,需要安装hadoop。部署文档可以参考: hbase 0.96整合到hadoop2.2三个节点全分布式安装高可靠文档 在部署的时候,需要注意hadoop版本与hbase的版本匹配。 HBASE分布式安装视频下载分享http://www.aboutyun.com/thread-6612-1-1.html Hbase单节点部署及其基础使用 HBASE分布式安装视频下载分享 hadoop、hbase、hive版本对应关系 hbase与zookeeper可以说是不可分离的,因此hbase有自带的zookeeper,如果不使用自带zookeeper,可以禁用zookeeper,使用外部zookeeper。 Hbase禁用自带ZooKeeper,使用已经安装的ZooKeeper 上面我们完成基本的配置,在后面的使用过程中,我们对集群的要求增高,所以我们就会需要了解更多的配置项的作用,下面帖子可以参考。 HBase 默认配置说明(收藏版) Hbase配置项粗解(1) Hbase配置项粗解(2) Hbase配置项粗解(3) 其他: hbase-0.94.10.tar.gz包下载 hadoop_HBase安装,数据分析与建模,实战案例剖析 Ganglia监控Hadoop及Hbase集群性能(安装配置) 更多的jar包、安装包 hbase整合 hbase不是单独存在的,hbase可以与hive、Impala、Flume整合。我们为什么要整合?比如我们hbase、hive整合之后,当我们将数据插入hbase之后,hive随之同步,我们无须操作hive,这就是整合的好处。对于flume整合,当flume整合搜集到数据之后,会自动发送到hbase,这样省去了我们很多的功夫去编程。我们只需要关心我们的业务逻辑即可。 hive与hbase整合原理介绍 hive为什么与hbase整合 hbase 0.96整合到hadoop2.2三个节点全分布式安装高可靠文档(推荐) Impala与HBase整合实践 编译和使用hive与HBase通信包--hive-hbase-handler.jar及下载 1.hive与hbase对应版本
2.hive-hbase-handler.jar在于hbase、hive中起的作用是什么?
3.hive-hbase-handler.jar是否有版本之分,不同版本是否都能使用这个包来整合hbase与hive?
4.整合过程中hive-hbase-handler.jar应该放在hive的哪个文件夹中?
hbase0.96与hive0.12整合高可靠文档及问题总结 Flume-ng将数据插入hdfs与HBase-0.96.0 hive0.13调整hbase 0.96.2 hadoop2.2.0 问题总结 Flume-1.4.0和Hbase-0.96.0整合实践 Flume-0.9.4和Hbase-0.96整合实践 hbase使用 上面讲了很多,从理论到实践安装,我们终于可以使用了,我们很想尝试增删改查到底是什么样子的?
这里举个具体例子: 2.drop一个表 更详细参考下面帖子: HBase Shell常用命令 上面是基本的操作,使用的时间越长,我们的需求就会越多,比如删除数据会遇到region不释放,我们想备份数据、定期删除数据,压缩数据、查询优化等更详细内容查看下面帖子: HBase如何实现多条件查询 开启hadoop和Hbase集群的lzo压缩功能 HBase实现记录定期定量删除 hbase数据删除不释放region解决办法 HBase 利用Coprocessor实现聚合函数 大数据应用之HBase数据插入性能优化之多线程并行插入测试案例 1、单线程下HBase的插入性能如何? hbase与hadoop2.X在CentOS6.4下源码编译 hbase meta表修复方式总结 1.hbase hbck -fixMeta的作用是什么? 优化hbase的查询优化-大幅提升读写速率 hadoop及hbase的超时设置 优化hbase的查询提升读写速率优化案例及性能提升的几种方法 1.完全发挥不出hbase的效率的原因是什么? Hbase数据备份和恢复 hbase工具 所谓工具就是帮助我们的,hbase工具,则是帮助我们使用hbase,phoenix的作用是什么? hbase的sql操作的框架-phoenix hbase有哪些可视化工具,图形界面管理工具 phoenix实战(hadoop2、hbase0.96) Phoenix介绍:实现向HBase发送标准SQL语句 hbase设计 hbase设计这个是一个比较大的话题,很多都是根据自己项目的具体情况来设计,这里只是简单说一下设计中需要注意的问题 Hbase初步入门-- 表该如何构造和设计 HBase设计 hbase之rowkey的设计讨论 HBase的rowkey设计 hbase数据快速备份:HBase snapshot分析 修复hbase元数据.meta.表空洞的问题 hbase Balancer 源码分析-负载均衡 HBase Bug 知多少 hbase编程 hbase分为两种是一种开发API,就是所谓的二次开发,一种是客户端API,也就是我们使用hbase来完成一些事情。对于hbase源码获取,我们需要具备maven知识,同hadoop获取源码的方式是一样的,具体可以参考:从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码. 通过eclipse获取源码之后,我们会看到一些maven语法错误,如果遇到execution错误,可以参考下面帖子。 我们获取源码是为了查看更好的使用hbase,hbase的基本操作,在shell中能够完成,我们通过Java API eclipse环境同样能完成。除了增删改查、分页之外,我们还可以开发插件。 hbase编程:Eclipse远程连接创建hbase表以及填充列与列数据 Java操作hbase编程 spark使用java读取hbase数据做分布式计算 hbase编程:通过Java api操作hbase hbase HTable之Put、delete、get等源码分析 Hbase Java编程实现增删改查 总结Eclipse 远程连接 HBase问题及解决方案大全 HBase中如何开发LoadBalance插件 Hbase与eclipse集成的第一个例子 hbase分页应用场景及分页思路与代码实现 HBase MapReduce排序Secondary Sort CDH4源码搭建hbase开发环境 Thrift了解4:C#通过Thrift操作HBase实战 hbase API hadoop2.2.0帮助手册下载API及HBase 0.98.1-hadoop2 API HBase数据迁移(1)-使用HBase的API中的Put方法 hbase编程:Java API连接Hbase进行增删改查讲解实例 hbase问题 hbase使用和开发过程中会遇到各种问题,比如插入数据越来越慢,master启动之后又挂掉,hbase如何存储图片,线上regionserver无缘无故下线,这里整理了一下。 hive-hbase整合后查询缓慢 hbase插入数据,为什么速度越来越慢 hbase排错:be reached after 1 tries, giving up. hbase master启动了又挂了 hbase配置、运行错误总结 hbase删除数据的问题 hbase和hive整合问题 HBase如何把图片存进去呢? hbase编写自定义count功能的问题 请问hbase如何设置region大小啊 hbase regionserver下线 hbase伪分布式是不是没有regionserver啊 hbase的“-ROOT-”表所在的block丢失,该如何恢复 hive0.13与hbase0.98.2通过向Hbase表中导数据出现的错 hbase编程如何获取动态列 获取源码遇到问题解决方案: 解决问题的根本 Hadoop和Hbase重要日志位置 hbase在大企业应用 我们在使用hbase的过程中,我们所遇到的问题,走过的路,或许别人已经遇到并且解决,对于阿里、360、Facebook等大公司是走在我们前面的,下面的一些经验可以借鉴。 hbase在360的应用及使用过程中遇到的问题及解决方案 HBase在淘宝主搜索的Dump中的性能调优 1.hbase在运用中,如何有效降低延时?
2.如何对Dump进行性能调优?
淘宝搜索分析系统Pora2的应用之HBase高并发读写性能优化 Facebook使用HBase构建实时信息系统:能每月存储1350亿条信息 淘宝之HBase MapReduce实例分析 淘宝hbase业务实践 HBase在内容推荐引擎系统中的一些问题 淘宝为什么使用HBase及如何优化的 HBase工程师线上工作经验总结----HBase常见问题及分析 HBase在搜狐内容推荐引擎系统中的应用 Facebook针对hbase的优化方案分析 附上API 相关篇章推荐: |
HBase学习系列的更多相关文章
- 大数据学习系列之三 ----- HBase Java Api 图文详解
版权声明: 作者:虚无境 博客园出处:http://www.cnblogs.com/xuwujing CSDN出处:http://blog.csdn.net/qazwsxpcm 个人博客出处:http ...
- 大数据学习系列之五 ----- Hive整合HBase图文详解
引言 在上一篇 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环 ...
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
- 大数据学习系列之九---- Hive整合Spark和HBase以及相关测试
前言 在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为h ...
- 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)
引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用 ...
- 大数据学习系列之六 ----- Hadoop+Spark环境搭建
引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合 ...
- 分布式学习系列【dubbo入门实践】
分布式学习系列[dubbo入门实践] dubbo架构 组成部分:provider,consumer,registry,monitor: provider,consumer注册,订阅类似于消息队列的注册 ...
- Entity Framework Code First学习系列目录
Entity Framework Code First学习系列说明:开发环境为Visual Studio 2010 + Entity Framework 5.0+MS SQL Server 2012, ...
- WCF学习系列汇总
最近在学习WCF,打算把一整个系列的文章都”写“出来,包括理论和实践,这里的“写”是翻译,是国外的大牛写好的,我只是搬运工外加翻译.翻译的不好,大家请指正,谢谢了.如果觉得不错的话,也可以给我点赞,这 ...
随机推荐
- 算法笔记_138:稳定婚姻问题(Java)
目录 1 问题描述 2 解决方案 1 问题描述 何为稳定婚姻问题? 有一个男士的集合Y = {m1,m2,m3...,mn}和一个女士的计划X = {n1,n2,n3,...,nn}.每一个男士有 ...
- Box layout
Layout management with layout classes is much more flexible and practical. It is the preferred way t ...
- TensorFlow编译androiddemo
首先是把tensorflow克隆到本地一份. git clone --recurse-submodules https://github.com/tensorflow/tensorflow.git 既 ...
- javascript设计模式:构造器模式学习一
javascript 设计模式1.简介javascript是一种弱类型语言,不过类可以通过函数模拟出来最常见的实现方法如下:function Car(model){ this.model = mode ...
- VS Code - Debugger for Chrome调试js
最近在自学一些s的内容,用到了vscode来编写代码,一直没有使用过vs调试js的代码,看到左侧有推荐一个插件Debugger for Chrome使用来调试js代码的,对于vs这种开源,需要安装各种 ...
- 完善String类([]、 +、 += 运算符重载)、>>和<<运算符重载
在前面文章中使用过几次String类的例子,现在多重载几个运算符,更加完善一下,并且重载流类运算符. []运算符重载 +运算符重载 +=运算符重载 <<运算符重载 >>运算符重 ...
- 跨域JSONP原理及调用详细演示样例
上篇博客介绍了同源策略和跨域訪问概念,当中提到跨域经常使用的基本方式:JSONP和CORS. 那这篇博客就介绍JSONP方式. JSONP原理 在同源策略下,在某个server下的页面 ...
- SIFT 、Hog 、LBP 了解
SIFT.HOG.LBP,这三者都属于局部特征. 一.三者原理上的区别 1.SIFT:Scale-Invariant Feature Taransform,尺度不变特征变换. 尺度空间的极值检测:搜索 ...
- 使用 hibernate validator 进行表单验证
1 引入依赖,如果是 Maven 项目,仅需要添加如下依赖.官网请查看http://hibernate.org/validator/documentation/getting-started/ < ...
- 数据库中varchar类型数据转换为numeric类型
numeric有好几种选择,有整形.小数型等等.都是用cast来实现 前提:A表的ID字段是VARCHAR类型 .SELECT CAST(ID AS INTEGER) FROM A .SELECT C ...