HBase的快照技术
(1) 什么是快照
快照就是一份元信息的合集,允许管理员恢复到表的先前状态,快照不是表的复制而是一个文件名称列表,因而不会复制数据。
完全快照恢复是指恢复到之前的表结构以及当时的数据快照之后发生的数据不会恢复。
(2) 快照的作用
Hbase中存在的备份或克隆表的方法就是使用复制/导出表或者在关闭表之后拷贝hdfs中的所有的hfile。复制/导出时通过一些列工具调用mapreduce来扫描并复制表,这样子会对regionserver有直 接的影响,关闭表会停止所有的读写操作,实际环境中往往无法接受。
相比之下,hbase的快照允许管理员不拷贝数据直接克隆一张表,这对服务器产生的影响最小。将快照导出至其他集群不会直接影响到任何服务器,导出只是带有一些额外逻辑的群间数据同步。
(3) 快照操作
a) 生成快照:本操作尝试对指定表生成快照。如果集群在执行数据均衡、分割或合并等操作时,可能会一起操作失败,可以现对该表进行快照操作。
snapshot ‘tablename’ , ‘table-snapshot’ -->生成表的快照
list_snapshots --à查看所有的快照
b) 克隆快照:本操作使用与指定快照相同的结构数据构建一张新表。操作结果会生成一张有完整功能的表,对该表的任意修改不会对元彪或者快照产生影响。
clone_snapshot ‘table-snapshot’ ,’ new-tablename’ --->克隆快照,并生成一张新表,修改新表不会影响原表
c) 还原快照:本操作将表结构和数据恢复到生成快照时的状态。
restore_snapshot ‘snapshot-name’
说明:snapshot-name是对应表的快照,在还原之前请将原表disable。还原之后再enable原表。
d) 删除快照:本操作将系统中的快照删除,释放未共享的磁盘空间,而且不会影响其他克隆或者快照。
delete_snapshot ‘snapshotname’
e) 导出快照:本操作将快照数据和元数据复制到其他集群。操作只会涉及hdfs,不会与master或者服务器产生任何联系,因此hbase集群可以关闭。
Hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot snapshotname -copy-to hdfs:///server2:8082/hbase
(4) 快照的优势
导出快照与复制/导出表除了更好保持一致性外,主要的不同在于导出快照是在hdfs的层面操作。这意味着Master和服务器与操作无关。因此不需要为不必要的数据创建缓存空间,也不会有扫描过 程,因为大量对象创建引起的GC暂停。对于hbase来说主要性能影响就是datanode额外的网络和磁盘负载。
HBase的快照技术的更多相关文章
- 利用HBase的快照功能来修改表名
hbase的快照功能常常被用来做数据的恢复的,但是由于项目的特殊需求需要改hbase表的表名.在官网上通过快照功能来修改hbase表名的用法: 下面展示用shell命令的和Java api两种方式: ...
- vmware vSphere克隆与快照技术
通过Web vCenter我们可以很容易的对虚拟机进行管理,通过克隆技术或创建模板,我们可以迅速的创建虚拟机,我们也可以通过快照技术去捕获虚拟机的一些状态,比如说虚拟机的内存.设置或者虚拟磁盘的情况等 ...
- 再谈 COW、ROW 快照技术
目录 目录 前言 快照与备份的区别 快照技术 增量快照之 COW 增量快照之 row 前言 在经过了一段时间的实践之后,再次回顾 COW/ROW 快照技术的实现原理,温故而知新. 快照与备份的区别 传 ...
- ROW/COW 快照技术原理解析
NOTE:ROW/COW 最新更新请跳转<再谈 COW.ROW 快照技术> 目录 目录 快照与备份的区别 Snapshot 快照技术 全量快照 增量快照 COW 写时拷贝快照技术 ROW ...
- hbase读取快照数据-lzo压缩遇到的问题
1.读取hbase快照数据时报UnsatisfiedLinkError: no gplcompression in java.library.path错: 2019-09-04 17:36:07,44 ...
- HDFS的快照原理和Hbase基于快照的表修复
前一篇文章<HDFS和Hbase误删数据恢复>主要讲了hdfs的回收站机制和Hbase的删除策略.根据hbase的删除策略进行hbase的数据表恢复.本文主要介绍了hdfs的快照原理和根据 ...
- hbase迁移快照ExportSnapshot时遇到的错
1.Cannot allocate memory 报错信息: Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x ...
- centos6.5虚拟机快照技术
一.查看现有磁盘镜像格式与转换 查看磁盘格式 [root@localhost ~]# qemu-img info /var/lib/libvirt/images/centos7.img image: ...
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,when to ...
随机推荐
- DNS Prefetch
DNS 实现域名到IP的映射.通过域名访问站点,每次请求都要做DNS解析.目前每次DNS解析,通常在200ms以下.针对DNS解析耗时问题,一些浏览器通过DNS Prefetch 来提高访问的流畅性. ...
- Object类型与Array类型
总结--JS中的引用类型: Object类型,Array类型,Boolean类型,Number类型,String类型,Date类型, Function类型,RegExp类型,单体内置对象(Global ...
- python:页面布局 后台管理页面之常用布局
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/ ...
- Java堆和栈详解
Java把内存分成两种,一种叫做栈内存,一种叫做堆内存 在函数中定义的一些基本类型的变量和对象的引用变量都是在函数的栈内存中分配.当在一段代码块中定义一个变量时,java就在栈中为这个变量分配内存空间 ...
- windows消息和消息队列
windows消息和消息队列 转自:http://blog.163.com/zhangjie_0303/blog/static/990827062010113062446767/ 与基于MS - DO ...
- javscript 中的术语和俚语
语言中俚语和方言.在JavaScript中也有一些俚语或者说是术语,看似奇淫巧技,还是有一些用处,有三种语言组件可以来构造术语:强转.逻辑运算符和位变换. 1.强转:在javascript和大部分的语 ...
- python(三)set集合
set集合的特点是无序.不重复序列 创建集合: 1 2 3 4 5 6 7 8 9 10 11 12 13 a.s1 = {11,22} b.s2 = set() c.s3 = set([11,22, ...
- Android first---常见布局
###绝对布局AbsoluteLayout * android:layout_x="120dp" 在水平方向上偏移120像素 * android:layout_y ...
- [问题2014A06] 复旦高等代数 I(14级)每周一题(第八教学周)
[问题2014A06] 若 \(n\) 阶实方阵 \(A\) 满足 \(AA'=I_n\), 则称为正交矩阵. 证明: 不存在 \(n\) 阶正交矩阵 \(A,B\) 满足 \(A^2=cAB+B^ ...
- rmi远程调用
1.在服务器端程序中的spring-servlet.xml中添加 <bean id="userService" class="org.springframework ...